Mô hình đầu tiên của công ty mới Ricursive Intelligence: Transformer dày đặc với 65B tham số (không dùng MoE), được huấn luyện trước từ đầu trên ngữ liệu văn bản thuần túy chủ yếu là tiếng Anh và mã nguồn với 12T token, hỗ trợ ngữ cảnh tối đa 1M. Kho lưu trữ này là phiên bản chỉ thị BF16, đồng thời phát hành phiên bản chỉ thị NVFP4, phiên bản cơ sở BF16 và mô hình nháp DFlash2 dùng cho giải mã suy đoán. Tác giả cho biết họ đã điều chỉnh từng mục trong công thức huấn luyện từ đường cơ sở Olmo 3, đội ngũ phát triển mở rộng từ 1 người lên 5 người, cấu trúc được thay đổi thành dạng "hẹp và sâu" tương tự Gemma 3N (d_model 5120, 80 lớp). Kho lưu trữ được tạo vào ngày 4 tháng 11, không có bản ghi nào trong gần 7 kỳ.
Điểm tăng 112 · Lượt thích 114 · Lượt tải xuống 0
Lý do
- Tác giả cho biết thành tích lập trình tác nhân vượt xa quy mô: Terminal-Bench 2.1 80.5, cao hơn Reflection Beam (80.1) với 501B tham số, Muse Spark Open (76.4) với 816B tham số, Inkling (63.8) với 975B tham số và Nemotron 3 Ultra (56.4) với 550B tham số trong bảng; SWE-bench Pro v2.0 Hard 79.1 cũng là mức cao nhất trong bảng, Toán học AIME 2025 98.3, HMMT Feb 2026 90.5.
- Triển khai mô hình dày đặc 65B đơn giản: Tác giả cho biết có thể chạy trên các thiết bị cục bộ như DGX Spark, vì vậy đã phát hành phiên bản NVFP4 (MLP dùng NVFP4, phần chú ý giữ nguyên BF16); trên 2 thẻ B200 với batch 8, không lượng tử hóa và không viết nhân tùy chỉnh, tốc độ đạt 250 token mỗi giây.
- Quá trình huấn luyện được mô tả chi tiết: Số lượng token, số bước, độ dài chuỗi và kích thước batch cho từng giai đoạn gồm huấn luyện trước, huấn luyện trung gian, ngữ cảnh dài, SFT, SFT ngữ cảnh dài và RL đều được liệt kê trong bảng; phiên bản cơ sở là điểm kiểm tra chỉ qua huấn luyện trước, không thêm dữ liệu huấn luyện trung gian và dữ liệu hỏi đáp tổng hợp, phù hợp cho nghiên cứu hậu huấn luyện.
Cách sử dụng
- Phương pháp triển khai do tác giả cung cấp (thư mục inference/server trong kho lưu trữ): Linux + CUDA Toolkit 13 + uv, SGLang 0.5.19, hai thẻ B200, chạy lệnh sau trong thư mục đó: CUDA_VISIBLE_DEVICES=0,1 uv run --script serve.py --model-path <kho_lưu_trữ_này> --speculative-draft-model-path <mô_hình_nháp_DFlash2>; mặc định TP=2, ngữ cảnh 1Mi, dịch vụ chạy trên cổng 127.0.0.1:30000, giao diện tương thích OpenAI.
- Gọi công cụ: Truyền các tham số tools và tool_choice: auto theo định dạng OpenAI, phản hồi trả về riêng biệt reasoning_content, content và tool_calls; khi tiếp tục hội thoại, đưa nguyên văn tin nhắn assistant trở lại, sau đó thêm tin nhắn tool kèm tool_call_id. Nếu muốn dùng tool_choice: required, hãy đặt hàm với strict=true và additionalProperties=false.
- Mô hình có mã tùy chỉnh (RicursiveForCausalLM, cần trust_remote_code); mẫu trò chuyện không có công tắc suy nghĩ hay mức độ cường độ suy luận, max_tokens cần đủ lớn cho cả phần suy nghĩ và câu trả lời.
Rủi ro
- Phiên bản Preview: Tác giả nói rằng quá trình hậu huấn luyện nhẹ nhàng hơn, tập trung vào lập trình tác nhân, điểm SciCode 39.4, DeepSWE 1.1 44.3, MCP Atlas 71.67 trong bảng khá thấp. Thành tích là do tác giả tự đánh giá, các số in nghiêng trong bảng là điểm mà tác giả chạy thay cho đối thủ, tác giả cũng thừa nhận rằng việc tái tạo kết quả đánh giá tác nhân rất khó khăn.
- Chỉ so sánh với các mô hình mã nguồn mở của Mỹ, không so sánh với Qwen, DeepSeek, Kimi, GLM, v.v.; ngữ liệu huấn luyện trước chủ yếu là tiếng Anh và mã nguồn, chỉ có văn bản thuần túy, khả năng tiếng Trung chưa rõ (phiên bản cơ sở đạt C-Eval 69.6, thấp hơn hai mô hình DeepSeek trong bảng).
- Liên kết Colab được đề cập trong thẻ mô hình không được cung cấp, thẻ phiên bản NVFP4 chỉ có một đoạn mô tả ngắn, không có hướng dẫn chạy trên các thiết bị như DGX Spark, tài liệu hiện có chỉ bao gồm B200 + SGLang; đây là mô hình đầu tiên của công ty mới, tình trạng bảo trì trong tương lai chưa rõ.