firecrawl/firecrawl

Firecrawl — это старый проект для извлечения данных с веб-страниц для ИИ-агентов. 11 18 официально был выпущен Firecrawl Local, код которого находится в каталоге apps/local данного репозитория. Он устанавливается из crates.io, и одна программа позволяет преобразовывать веб-страницы в чистый Markdown, осуществлять обход всего сайта или перечислять все URL-адреса; страницы, требующие JavaScript, рендерятся с помощью уже установленного на локальной машине Chrome, а PDF- и Office-документы также обрабатываются локально. Подкоманда serve предоставляет локальный интерфейс v2, идентичный облачному, на порту 3002 локальной машины, при этом локальные маршруты не требуют API-ключа. Поиск, данные Alexandria, структурированное извлечение и Agent по-прежнему требуют использования Firecrawl Cloud.

Firecrawl — это старый проект для извлечения данных с веб-страниц для ИИ-агентов. 11 18 официально был выпущен Firecrawl Local, код которого находится в каталоге apps/local данного репозитория. Он устанавливается из crates.io, и одна программа позволяет преобразовывать веб-страницы в чистый Markdown, осуществлять обход всего сайта или перечислять все URL-адреса; страницы, требующие JavaScript, рендерятся с помощью уже установленного на локальной машине Chrome, а PDF- и Office-документы также обрабатываются локально. Подкоманда serve предоставляет локальный интерфейс v2, идентичный облачному, на порту 3002 локальной машины, при этом локальные маршруты не требуют API-ключа. Поиск, данные Alexandria, структурированное извлечение и Agent по-прежнему требуют использования Firecrawl Cloud.

Почему это важно Сбор страниц, обход всего сайта и перечисление URL-адресов выполняются локально, без необходимости в базе данных, очередях и контейнерах; локальный интерфейс идентичен облачному, поэтому для использования в старом коде достаточно просто изменить адрес.

Количество звёзд: 204248 (+825 / 24 ч)

Причины

  • За 24 часов добавлено 825 звёзд, общее количество звёзд составляет 204248 (отражает только уровень внимания); основной код распространяется под лицензией AGPL-3.0, а SDK и некоторые компоненты интерфейса — под лицензией MIT
  • Согласно официальным заметкам к обновлению, Firecrawl Local написан на Rust и полностью открыт, он в 37 раза быстрее версии с самостоятельным размещением и потребляет в 230 раз меньше памяти

Использование

  • После установки Rust и компилятора C выполните команду cargo install firecrawl-local, а затем попробуйте собрать одну страницу с помощью команды firecrawl-local scrape https://firecrawl.dev --markdown; выполнение команды firecrawl-local init добавит его в качестве сервиса MCP в локальные инструменты, такие как Claude Code, Cursor, Codex и Gemini CLI

Риски

  • По умолчанию страницы, которые не удалось собрать локально, передаются для обработки в Firecrawl Cloud (результаты помечаются как firecrawl-cloud); чтобы данные полностью оставались на локальной машине, необходимо установить переменную FIRECRAWL_CLOUD=off
  • Команда init изменяет конфигурационные файлы нескольких инструментов для агентов (сначала создаются резервные копии); для работы сервиса MCP требуется Node.js версии 22 или выше; если части кода под лицензией AGPL-3.0 предоставляются как сетевой сервис, необходимо публиковать изменения

Открыть

Trendshift(GitHub Trending 快照)

Открыть последние новости ИИ