Tiêu đề gốc: RecursiveSI/flint
Mô hình ngôn ngữ hỗn hợp chuyên gia (MoE) của Recursive, dành cho tác nhân lập trình: tổng tham số 39.8B, kích hoạt khoảng 2.5B mỗi token (bao gồm đầu ra, cách gọi 40B-A2.5B là làm tròn); 49 lớp (2 lớp đặc + 47 lớp MoE, trong đó 35 lớp sử dụng cơ chế chú ý cửa sổ trượt 513 token, 14 lớp sử dụng cơ chế chú ý toàn cục), mỗi lớp chọn 6 trong số 256 chuyên gia được định tuyến, cộng thêm 1 chuyên gia chia sẻ thường trực; ngữ cảnh 262,144 token, kiến thức tự báo cáo cắt đứt vào tháng 6 năm 2026. Được huấn luyện từ đầu qua các giai đoạn tiền huấn luyện, huấn luyện trung gian, SFT và học tăng cường, hỗ trợ suy luận và gọi công cụ đa vòng. Kho lưu trữ này chứa điểm kiểm tra BF16 (khoảng 80 GB), mẫu trò chuyện và gói triển khai SGLang; các phiên bản lượng tử hóa cho chip NVIDIA và Apple sẽ được chuẩn bị riêng. Kho lưu trữ được tạo vào ngày 21 tháng 10, các số trước đó chưa được bao gồm.
Tại sao quan trọng Kích hoạt tham số nhỏ, chỉ cần một GPU có bộ nhớ lớn là có thể khởi động dịch vụ, phù hợp với các nhóm muốn chạy tác nhân lập trình trên máy của riêng họ
Điểm tăng 84 · Lượt thích 1353 · Lượt tải 38357
Lý do
- Tác giả tuyên bố Terminal-Bench 2.1 đạt 54.9%, SWE-bench Pro v2 89.7%, SWE-bench Verified 74.2% (các mục tác nhân lấy trung bình ít nhất 5 lần pass@1, Terminal-Bench sử dụng Terminus 2, SWE-bench sử dụng mini-swe-agent); cũng ghi rõ rằng điểm Terminal-Bench của Flint tính các giải pháp đạt được nhờ tìm kiếm trực tuyến là thất bại, điểm tự báo cáo của các bên khác có thể không xử lý như vậy.
- Hướng dẫn triển khai có thể thực hiện được: xây dựng hình ảnh SGLang bằng Docker sau đó khởi động một bản sao trên một GPU (B300 hoặc H200), giao diện tương thích OpenAI trực tiếp hỗ trợ gọi công cụ, kèm theo hai máy khách ví dụ cho suy luận và gọi công cụ (bao gồm tham số lồng nhau, gọi song song).
- Giấy phép Apache-2.0, giấy phép trọng số và điều khoản API được lưu trữ tách biệt; lượt thích trên Hugging Face 1353 (chỉ đại diện cho mức độ quan tâm).
Cách sử dụng
- hf download RecursiveSI/flint --local-dir flint (khoảng 80 GB; tác giả khuyên nên tải xuống với revision cố định và xác minh bằng hf cache verify), cd flint && docker build -t flint-sglang sglang, sau đó docker run -d --name flint --gpus '"device=0"' --ipc=host -p 127.0.0.1:30000:30000 -v "$PWD:/model" -e MODEL=/model flint-sglang bash /model/sglang/serve_b300.sh (đối với H200 hãy đổi thành serve_h200.sh); chờ localhost:30000/health_generate trả về kết quả, sau đó chạy python3 sglang/example_client.py --base-url http://localhost:30000/v1 để kiểm tra suy luận và một lần gọi công cụ.
- Tham số lấy mẫu temperature 1.0, top_p 0.95, top_k 20 (máy chủ tự động áp dụng nếu không được chỉ định trong yêu cầu); ngân sách đầu ra cho các vấn đề khó ít nhất 32768 token (bao gồm suy luận). Khi sử dụng đa vòng, hãy sử dụng mẫu trò chuyện đi kèm với điểm kiểm tra và giữ lại reasoning_content được trả về trong lịch sử hội thoại.
Rủi ro
- Yêu cầu bộ nhớ GPU khắt khe: mỗi bản sao yêu cầu một GPU có dung lượng ≥141 GB (B300 / B200 / H200), GPU 80 GB không được hỗ trợ; mã mô hình Transformers chưa được cung cấp, hiện tại chỉ có thể sử dụng SGLang; việc xây dựng hình ảnh yêu cầu quyền truy cập vào Docker Hub, PyPI, flashinfer.ai và GitHub.
- Tất cả kết quả đều do tác giả tự đánh giá, các thiết lập đánh giá khác nhau giữa các bên; tác giả lưu ý rằng suy luận dài sẽ làm tăng độ trễ và có thể cạn kiệt ngân sách đầu ra trước khi hoàn thành câu trả lời, các ứng dụng gọi công cụ cần tự thiết lập quyền hạn và ranh giới thực thi.
- Phiên bản lượng tử hóa chỉ ghi "sẽ được chuẩn bị riêng" trong kho lưu trữ, không có liên kết được cung cấp.