firecrawl/firecrawl

Firecrawl là một dự án lâu năm giúp các tác nhân AI thu thập dữ liệu web, và vào ngày 18 tháng 11, phiên bản chính thức Firecrawl Local đã được phát hành, với mã nguồn nằm trong thư mục apps/local của kho lưu trữ này. Nó được cài đặt từ crates.io, cho phép một chương trình duy nhất chuyển đổi trang web thành Markdown sạch sẽ, thu thập toàn bộ trang web hoặc liệt kê tất cả các URL; các trang yêu cầu JavaScript được hiển thị thông qua Chrome có sẵn trên máy cục bộ, còn tài liệu PDF và Office cũng được phân tích ngay tại chỗ. Lệnh con serve cung cấp giao diện v2 giống hệt như trên đám mây tại cổng 3002 trên máy cục bộ, và các tuyến đường cục bộ không yêu cầu API Key. Tuy nhiên, tính năng tìm kiếm, dữ liệu Alexandria, trích xuất có cấu trúc và Agent vẫn phải sử dụng Firecrawl Cloud.

Firecrawl là một dự án lâu năm giúp các tác nhân AI thu thập dữ liệu web, và vào ngày 18 tháng 11, phiên bản chính thức Firecrawl Local đã được phát hành, với mã nguồn nằm trong thư mục apps/local của kho lưu trữ này. Nó được cài đặt từ crates.io, cho phép một chương trình duy nhất chuyển đổi trang web thành Markdown sạch sẽ, thu thập toàn bộ trang web hoặc liệt kê tất cả các URL; các trang yêu cầu JavaScript được hiển thị thông qua Chrome có sẵn trên máy cục bộ, còn tài liệu PDF và Office cũng được phân tích ngay tại chỗ. Lệnh con serve cung cấp giao diện v2 giống hệt như trên đám mây tại cổng 3002 trên máy cục bộ, và các tuyến đường cục bộ không yêu cầu API Key. Tuy nhiên, tính năng tìm kiếm, dữ liệu Alexandria, trích xuất có cấu trúc và Agent vẫn phải sử dụng Firecrawl Cloud.

Tại sao quan trọng Việc thu thập trang, thu thập toàn bộ trang web và liệt kê URL đều được thực hiện trên máy cục bộ, không cần cơ sở dữ liệu, hàng đợi hay container; giao diện cục bộ giống hệt như trên đám mây, nên mã cũ chỉ cần thay đổi địa chỉ là có thể sử dụng được.

Số sao 204248 (+825 / 24h)

Lý do

  • Tăng 825 sao trong 24 giờ, tổng số sao là 204248 (chỉ phản ánh mức độ quan tâm); phần chính theo giấy phép AGPL-3.0, còn SDK và một số thành phần giao diện theo giấy phép MIT
  • Theo nhật ký cập nhật chính thức, Firecrawl Local được xây dựng bằng Rust, hoàn toàn mã nguồn mở, nhanh hơn phiên bản tự lưu trữ 37 lần và sử dụng ít bộ nhớ hơn 230 lần

Cách sử dụng

  • Sau khi cài đặt Rust và trình biên dịch C, chạy lệnh cargo install firecrawl-local, sau đó chạy firecrawl-local scrape https://firecrawl.dev --markdown để thử thu thập một trang; chạy firecrawl-local init sẽ thêm nó vào các công cụ như Claude Code, Cursor, Codex, Gemini CLI trên máy cục bộ dưới dạng dịch vụ MCP

Rủi ro

  • Theo mặc định, các trang đơn lẻ không thể thu thập cục bộ sẽ được chuyển sang Firecrawl Cloud để xử lý (kết quả được đánh dấu firecrawl-cloud); để đảm bảo dữ liệu không rời khỏi máy cục bộ, cần đặt biến FIRECRAWL_CLOUD=off
  • Lệnh init sẽ ghi đè các tệp cấu hình của nhiều công cụ tác nhân (có sao lưu trước), dịch vụ MCP yêu cầu Node.js phiên bản 22 trở lên; các phần theo giấy phép AGPL-3.0 khi được cung cấp dưới dạng dịch vụ web phải công khai các sửa đổi

Mở

Trendshift(GitHub Trending 快照)

Xem tin AI mới nhất