신생 기업 Ricursive Intelligence의 첫 번째 모델: 65B 매개변수의 밀집 Transformer(MoE 미사용), 영어와 코드가 중심인 순수 텍스트 코퍼스 12T 토큰에서 처음부터 사전 학습되었으며 최대 1M 컨텍스트를 지원합니다. 이 저장소는 BF16 지시 버전이며, NVFP4 지시 버전, BF16 기본(base) 버전, 그리고 추론 가속을 위한 DFlash2 초안 모델도 함께 공개되었습니다. 저자는 Olmo 3 베이스라인에서 출발하여 학습 레시피를 항목별로 수정했다고 밝혔으며, 개발 기간 동안 팀 규모가 1명에서 5명으로 확대되었고, 구조는 Gemma 3N과 유사한 '좁고 깊은(narrow and deep)' 형태(d_model 5120, 80 레이어)로 변경되었습니다. 11월 4일에 저장소가 생성되었으며, 최근 7기간 동안은 등재되지 않았습니다.
상승 점수 112 · 좋아요 114 · 다운로드 수 0
이유
- 저자는 에이전트 프로그래밍 성적이 모델 규모를 능가한다고 주장합니다: Terminal-Bench 2.1 80.5로, 표에 있는 501B의 Reflection Beam(80.1), 816B의 Muse Spark Open(76.4), 975B의 Inkling(63.8), 그리고 550B의 Nemotron 3 Ultra(56.4)보다 높습니다. SWE-bench Pro v2.0 Hard 79.1 역시 표에서 가장 높으며, 수학 AIME 2025 98.3, HMMT Feb 2026 90.5 점수를 기록했습니다.
- 밀집 65B 모델은 배포가 간단합니다: 저자는 DGX Spark와 같은 로컬 디바이스에 탑재할 수 있다고 주장하며, 이를 위해 NVFP4 버전(MLP는 NVFP4, 어텐션은 BF16 유지)을 출시했습니다. 2장의 B200 GPU에서 배치 크기 8, 양자화 및 커스텀 커널 없이 초당 250 토큰의 처리 속도를 달성할 수 있습니다.
- 학습 과정이 투명하게 기술되어 있습니다: 사전 학습, 중간 학습, 긴 컨텍스트, SFT, 긴 컨텍스트 SFT, RL 등 각 단계의 토큰 수, 스텝 수, 시퀀스 길이 및 배치 크기가 표로 정리되어 있습니다. 기본(base) 버전은 사전 학습만 수행된 체크포인트로, 중간 학습이나 합성 Q&A 데이터가 포함되지 않아 후속 학습(post-training) 연구에 적합합니다.
사용법
- 저자가 제시한 배포 방식(저장소의 inference/server 디렉토리): Linux + CUDA Toolkit 13 + uv, SGLang 0.5.19, B200 GPU 2장 사용. 해당 디렉토리에서 CUDA_VISIBLE_DEVICES=0,1 uv run --script serve.py --model-path <본 저장소> --speculative-draft-model-path <DFlash2 초안 모델> 명령어를 실행합니다. 기본값은 TP=2, 1Mi 컨텍스트이며, 서비스는 127.0.0.1:30000에서 OpenAI 호환 인터페이스로 제공됩니다.
- 도구 호출: OpenAI 형식에 따라 tools와 tool_choice: auto를 전달하면, 응답은 reasoning_content, content, tool_calls로 구분되어 제공됩니다. 후속 턴에서는 assistant 메시지를 그대로 복원한 후, tool_call_id가 포함된 tool 메시지를 추가합니다. tool_choice: required를 사용하려면 함수를 strict=true, additionalProperties=false로 설정해야 합니다.
- 모델은 커스텀 코드(RicursiveForCausalLM, trust_remote_code 필요)를 포함합니다. 채팅 템플릿에는 사고(thinking) 토글이나 추론 강도 설정이 없으므로, max_tokens는 사고와 답변 두 부분을 모두 고려하여 충분히 설정해야 합니다.
리스크
- 프리뷰 버전: 저자는 후속 학습이 가볍고 에이전트 프로그래밍에 중점을 두었다고 설명하며, SciCode 39.4, DeepSWE 1.1 44.3, MCP Atlas 71.67 점수는 표에서 낮은 편입니다. 성적은 저자의 자체 평가이며, 표의 이탤릭체 점수는 저자가 경쟁 모델을 대신 실행한 결과입니다. 저자도 에이전트 평가의 재현이 어렵다는 점을 인정했습니다.
- 미국의 오픈소스 모델들과만 비교했으며, Qwen, DeepSeek, Kimi, GLM 등과의 비교는 없습니다. 사전 학습 코퍼스는 영어와 코드가 중심인 텍스트 전용이므로 중국어 능력은 불명확합니다(기본 버전의 C-Eval 점수는 69.6로, 표의 DeepSeek 두 모델보다 낮습니다).
- 카드에 언급된 Colab 링크는 제공되지 않았으며, NVFP4 버전의 카드에는 간단한 설명만 있고 DGX Spark 등 디바이스에서의 실행 절차는 없습니다. 기존 문서는 B200 + SGLang 구성만 다룹니다. 신생 기업의 첫 번째 모델이므로 향후 유지보수 상황은 불확실합니다.