Firecrawl — это старый проект для извлечения данных с веб-страниц для ИИ-агентов. 11 18 официально был выпущен Firecrawl Local, код которого находится в каталоге apps/local данного репозитория. Он устанавливается из crates.io, и одна программа позволяет преобразовывать веб-страницы в чистый Markdown, осуществлять обход всего сайта или перечислять все URL-адреса; страницы, требующие JavaScript, рендерятся с помощью уже установленного на локальной машине Chrome, а PDF- и Office-документы также обрабатываются локально. Подкоманда serve предоставляет локальный интерфейс v2, идентичный облачному, на порту 3002 локальной машины, при этом локальные маршруты не требуют API-ключа. Поиск, данные Alexandria, структурированное извлечение и Agent по-прежнему требуют использования Firecrawl Cloud.
Почему это важно Сбор страниц, обход всего сайта и перечисление URL-адресов выполняются локально, без необходимости в базе данных, очередях и контейнерах; локальный интерфейс идентичен облачному, поэтому для использования в старом коде достаточно просто изменить адрес.
Количество звёзд: 204248 (+825 / 24 ч)
Причины
- За 24 часов добавлено 825 звёзд, общее количество звёзд составляет 204248 (отражает только уровень внимания); основной код распространяется под лицензией AGPL-3.0, а SDK и некоторые компоненты интерфейса — под лицензией MIT
- Согласно официальным заметкам к обновлению, Firecrawl Local написан на Rust и полностью открыт, он в 37 раза быстрее версии с самостоятельным размещением и потребляет в 230 раз меньше памяти
Использование
- После установки Rust и компилятора C выполните команду cargo install firecrawl-local, а затем попробуйте собрать одну страницу с помощью команды firecrawl-local scrape https://firecrawl.dev --markdown; выполнение команды firecrawl-local init добавит его в качестве сервиса MCP в локальные инструменты, такие как Claude Code, Cursor, Codex и Gemini CLI
Риски
- По умолчанию страницы, которые не удалось собрать локально, передаются для обработки в Firecrawl Cloud (результаты помечаются как firecrawl-cloud); чтобы данные полностью оставались на локальной машине, необходимо установить переменную FIRECRAWL_CLOUD=off
- Команда init изменяет конфигурационные файлы нескольких инструментов для агентов (сначала создаются резервные копии); для работы сервиса MCP требуется Node.js версии 22 или выше; если части кода под лицензией AGPL-3.0 предоставляются как сетевой сервис, необходимо публиковать изменения