Firecrawl은 AI 에이전트를 위해 웹 데이터를 크롤링하는 오래된 프로젝트로, 11월 18일에 공식적으로 Firecrawl Local을 출시했으며 코드는 이 저장소의 apps/local에 있습니다. crates.io에서 설치할 수 있으며, 하나의 프로그램으로 웹 페이지를 깔끔한 Markdown으로 변환하거나 전체 사이트를 크롤링하거나 모든 URL을 나열할 수 있습니다. JavaScript가 필요한 페이지는 로컬에 설치된 Chrome을 사용하여 렌더링하며, PDF 및 Office 문서도 로컬에서 파싱합니다. serve 하위 명령어는 로컬 3002 포트에서 클라우드와 동일한 v2 인터페이스를 제공하며, 로컬 라우팅에는 API 키가 필요하지 않습니다. 검색, Alexandria 데이터, 구조화된 추출 및 Agent는 여전히 Firecrawl Cloud를 통해 처리해야 합니다.
왜 중요한가 페이지 크롤링, 전체 사이트 크롤링, URL 나열이 모두 로컬에서 완료되며, 데이터베이스, 큐 및 컨테이너가 필요하지 않습니다. 로컬 인터페이스는 클라우드와 동일하므로 기존 코드는 주소만 변경하면 사용할 수 있습니다.
스타 수 204248 (+825 / 24h)
이유
- 24시간 동안 825개의 스타가 추가되어 총 스타 수는 204248개입니다(관심도만 나타냄). 주요 부분은 AGPL-3.0이며, SDK와 일부 UI 컴포넌트는 MIT 라이선스입니다.
- 공식 업데이트 로그에 따르면 Firecrawl Local은 Rust 기반이며 완전히 오픈 소스이고, 셀프 호스팅 버전보다 37배 빠르며 메모리 사용량이 230배 적습니다.
사용법
- Rust와 C 컴파일러를 설치한 후 cargo install firecrawl-local을 실행하고, firecrawl-local scrape https://firecrawl.dev --markdown을 실행하여 한 페이지를 테스트 크롤링합니다. firecrawl-local init을 실행하면 로컬의 Claude Code, Cursor, Codex, Gemini CLI 등에 MCP 서비스로 추가됩니다.
리스크
- 기본적으로 로컬에서 크롤링할 수 없는 단일 페이지는 Firecrawl Cloud로 전달되어 크롤링됩니다(결과는 firecrawl-cloud로 표시됨). 완전히 로컬에서 처리하려면 FIRECRAWL_CLOUD=off로 설정해야 합니다.
- init은 여러 에이전트 도구의 구성 파일을 수정합니다(먼저 백업함). MCP 서비스에는 Node.js 22 이상이 필요하며, AGPL-3.0 부분은 네트워크 서비스로 제공될 경우 수정 사항을 공개해야 합니다.