원제: RecursiveSI/flint
코딩 에이전트를 위한 Recursive의 혼합 전문가(MoE) 언어 모델: 총 파라미터 수 39.8B, 토큰당 활성화 파라미터 약 2.5B(출력 헤드 포함, 40B-A2.5B는 반올림된 명칭); 49개 레이어(2개 밀집 레이어 + 47개 MoE 레이어, 그중 35개 레이어는 513 토큰 슬라이딩 윈도우 어텐션, 14개 레이어는 전역 어텐션), 각 레이어에서 256개의 라우팅 전문가 중 6개를 선택하며, 추가로 1개의 상주 공유 전문가가 있음; 컨텍스트 길이 262,144 토큰, 자체 보고된 지식截止日期는 2026년 6월. 사전 학습, 중간 단계 학습, SFT 및 강화 학습을 통해 처음부터 훈련되었으며 추론 및 다중 라운드 도구 호출을 지원함. 이 저장소는 BF16 체크포인트(약 80 GB), 채팅 템플릿 및 SGLang 배포 패키지를 포함하며; NVIDIA 및 Apple 칩용 양자화 버전은 별도로 준비 중임. 10월 21일에 저장소가 생성되었으며 이전 호에서는 다루지 않았음.
중요성 활성화 파라미터가 적어 대형 VRAM GPU 한 장으로 서비스를 구동할 수 있어, 자신의 머신에서 코딩 에이전트를 실행하려는 팀에 적합함
상승 점수 84 · 좋아요 1353 · 다운로드 수 38357
이유
- 저자는 Terminal-Bench 2.1에서 54.9%, SWE-bench Pro v2 89.7%, SWE-bench Verified 74.2% 점수를 기록했다고 언급함(에이전트 항목은 최소 5회 pass@1의 평균값을 사용하며, Terminal-Bench는 Terminus 2, SWE-bench는 mini-swe-agent를 사용); 또한 Flint의 Terminal-Bench 점수는 웹 검색을 통해 얻은 해결책을 실패로 간주하며, 다른 곳의 자체 보고 점수는 이러한 처리 방식을 따르지 않을 수 있다고 명시함.
- 배포 절차가 따라 하기 쉽게 작성됨: Docker로 SGLang 이미지를 빌드한 후 단일 GPU에서 인스턴스 하나를 구동(B300 또는 H200), OpenAI 호환 인터페이스를 통해 도구 호출을 직접 지원하며, 추론 및 도구 호출에 대한 두 가지 예제 클라이언트(중첩 매개변수, 병렬 호출 포함)가 제공됨.
- Apache-2.0 라이선스이며, 가중치 라이선스와 호스팅 API 약관은 분리되어 있음; Hugging Face 좋아요 수 1353(관심도만 반영).
사용법
- hf download RecursiveSI/flint --local-dir flint (약 80 GB; 저자는 특정 revision을 지정하여 다운로드하고 hf cache verify로 검증할 것을 권장), cd flint && docker build -t flint-sglang sglang, 그 다음 docker run -d --name flint --gpus '"device=0"' --ipc=host -p 127.0.0.1:30000:30000 -v "$PWD:/model" -e MODEL=/model flint-sglang bash /model/sglang/serve_b300.sh (H200의 경우 serve_h200.sh로 교체); localhost:30000/health_generate가 응답한 후, python3 sglang/example_client.py --base-url http://localhost:30000/v1을 실행하여 추론 및 한 번의 도구 호출을 테스트함.
- 샘플링 매개변수는 temperature 1.0, top_p 0.95, top_k 20 (요청 시 지정하지 않으면 서버가 자동으로 적용); 어려운 문제의 경우 출력 예산은 최소 32768 토큰(추론 포함). 다중 라운드 대화 시 체크포인트에 포함된 채팅 템플릿을 사용하고, 반환된 reasoning_content를 대화 이력에 유지함.
리스크
- VRAM 요구 사항이 엄격함: 각 인스턴스는 ≥141 GB의 GPU 한 장(B300 / B200 / H200)을 필요로 하며, 80 GB GPU는 지원되지 않음; Transformers 모델링 코드는 아직 제공되지 않았으므로 현재로서는 SGLang만 사용 가능; 이미지 빌드 시 Docker Hub, PyPI, flashinfer.ai 및 GitHub에 접근할 수 있어야 함.
- 모든 성능 지표는 저자의 자체 평가이며, 각评测 설정이 다름; 저자는 긴 추론이 지연 시간을 증가시키고 답변 완료 전에 출력 예산을 소진할 수 있으며, 도구 호출 애플리케이션은 권한 및 실행 경계를 스스로 관리해야 한다고 경고함.
- 양자화 버전은 저장소 내에서 '별도 준비 중'이라고만 언급되어 있고 링크가 제공되지 않음.