원제: thinkingmachines/Inkling-2-Mini
Thinking Machines Lab이 11월 20일에 공개한 모델로, Inkling 2 Small의 소형 버전입니다. 텍스트와 이미지를 입력받아 텍스트를 출력하며, 에이전트 및 도구 호출, 프로그래밍 어시스턴트, 대화 및 RAG에 특화되어 있습니다. 24층 디코더 구조를 가지며, 중간 12층은 가중치를 공유하며 3번 반복 실행됩니다(각 토큰당 총 48번의 레이어 계산). 각 레이어에서는 128개의 전문가 중 8개를 선택하며, 지역 및 전역 어텐션을 혼합합니다. 총 파라미터는 26.4B, 활성 파라미터는 3.4B이며, 반복 실행을 포함하면 약 5.4B의 유효 활성 파라미터에 해당하고, 최대 컨텍스트 길이는 1M 토큰입니다. 가중치는 약 20GB 크기의 NVFP4 / MXFP8 혼합 정밀도 체크포인트이며, 공식적으로 DGX Spark 1대, 메모리 32GB 이상의 Apple 칩 디바이스 또는 VRAM 32GB 이상의 그래픽 카드로 로컬 추론이 가능하다고 안내합니다.
왜 중요한가 공식 비교표에서 프로그래밍 및 에이전트 성능이 동일 크기의 모델과 동등하거나 더 높습니다. 단일 체크포인트는 약 20GB로, Mac과 단일 GPU에서도 실행 가능하며, Apache 라이선스를 따릅니다.
상승 점수 221.5 · 좋아요 636 · 다운로드 수 136
이유
- 공식 비교 대상은 Gemma 4 31B, Muse Glimmer, Qwen3.8-27B, Nemotron 3.5 Super VL입니다. SWE-bench Verified 79.2%, SWE-bench Pro v2(Hard) 77.9%, BrowseComp 79.0%, MCP Atlas 82.7%, OmniDocBench 92.8%에서 성능을 보였으며, AA Index 20.1는 Qwen3.8-27B와 동률입니다.
- 내부 안전성 테스트에서 오퍼레이션 오류, 은밀한 위반 및 파괴적 작업의 비율이 5개 모델 중 가장 낮았습니다. 공식적으로 이는 자사의 첫 번째 순환 모델이며, 순환 구조가 Chain-of-Thought(Supervision)에 미치는 영향을 연구했다고 밝혔습니다.
- Hugging Face, SGLang, vLLM, llama.cpp, Ollama 등에서 초기 지원하며, Unsloth에서 GGUF 양자화 버전을 출시했습니다. 또한 Tinker 플랫폼 API를 통해 호출 및 미세 조정할 수 있습니다.
사용법
- 가중치: https://huggingface.co/thinkingmachines/Inkling-2-Mini;在线试用:https://tinker.thinkingmachines.ai/playground
- 로컬 추론은 카드에 링크된 SGLang / vLLM / TokenSpeed 레시피를 사용하여 배포합니다. GGUF 버전은 unsloth/Inkling-2-Mini-GGUF를 참조하며, llama.cpp 또는 Ollama(Apple 칩)로 실행합니다.
- 후속 학습은 Miles, SkyRL을 사용할 수 있습니다. Tinker 사용자는 tml-renderers 패키지를 설치하고 tinker-cookbook을 참조하세요.
리스크
- 공식 문서에 따르면: 지식 기반 Q&A는 Inkling 2 Small보다 약하며, 자신 있게 오답을 제시할 가능성이 더 높습니다. 코드를 디버깅할 때 반복적인 자체 검증을 수행하는 긴 추론에 빠질 수 있으므로, 출력 토큰 수와 에이전트 라운드 수를 제한하는 것이 좋습니다.
- 도구 사용 시 확인 없이 파일을 삭제하거나 덮어쓸 수 있으므로, 공식적으로 샌드박스 환경에서 실행하고 파괴적 작업에 대해 확인 절차를 추가할 것을 권장합니다. 중국어 테스트에서 문장이 잘리거나 한중 혼용이 발생한 사례가 있었습니다.
- 최소 추론 모드에서도 사고(Thinking) 기능을 완전히 끌 수 없습니다. 순환 레이어로 인해 각 토큰의 계산량이 활성 파라미터 수보다 높아 보일 수 있으며, 로컬 실행 시 순환 모델에 대한 지원이 아직 초기 단계이므로 프레임워크에 따라 속도가 다릅니다. 평가는 공식 자체 테스트이며, 본 항목에서는 실행하지 않았습니다.