firecrawl/firecrawl

Firecrawl 是给 AI 代理抓网页数据的老项目,11 月 18 日官方发布 Firecrawl Local,代码就在本仓库 apps/local。它从 crates.io 安装,一个程序就能把网页转成干净的 Markdown、整站爬取或列出所有网址,需要 JavaScript 的页面借本机已有的 Chrome 渲染,PDF 和 Office 文档也在本地解析;serve 子命令在本机 3002 端口提供与云端相同的 v2 接口,本地路由不需要 API Key。搜索、Alexandria 数据、结构化抽取和 Agent 仍要走 Firecrawl Cloud。

Firecrawl 是给 AI 代理抓网页数据的老项目,11 月 18 日官方发布 Firecrawl Local,代码就在本仓库 apps/local。它从 crates.io 安装,一个程序就能把网页转成干净的 Markdown、整站爬取或列出所有网址,需要 JavaScript 的页面借本机已有的 Chrome 渲染,PDF 和 Office 文档也在本地解析;serve 子命令在本机 3002 端口提供与云端相同的 v2 接口,本地路由不需要 API Key。搜索、Alexandria 数据、结构化抽取和 Agent 仍要走 Firecrawl Cloud。

为什么重要 抓页面、爬整站、列网址都在本机完成,不用数据库、队列和容器;本地接口与云端相同,旧代码改个地址就能用。

星数 204248(+825 / 24h)

理由

  • 24 小时新增 825 星,总星 204248(只代表关注度);主体 AGPL-3.0,SDK 和部分界面组件 MIT
  • 官方更新日志称 Firecrawl Local 基于 Rust、完全开源,比自托管版快 37 倍、内存占用少 230 倍

用法

  • 装好 Rust 和 C 编译器后运行 cargo install firecrawl-local,再运行 firecrawl-local scrape https://firecrawl.dev --markdown 试抓一页;运行 firecrawl-local init 会把它加进本机的 Claude Code、Cursor、Codex、Gemini CLI 等作为 MCP 服务

风险

  • 默认情况下本地抓不下来的单页会转交 Firecrawl Cloud 抓取(结果标 firecrawl-cloud),想完全不出本机要设 FIRECRAWL_CLOUD=off
  • init 会改写多个代理工具的配置文件(会先备份),MCP 服务需要 Node.js 22 以上;AGPL-3.0 部分作为网络服务提供时要公开修改

打开

Trendshift(GitHub Trending 快照)

浏览最新 AI 动态