Inkling 2 Small: Thinking Machines의 오픈 웨이트 멀티모달 모델

Thinking Machines가 공개한 범용 멀티모달 모델로, 텍스트와 이미지를 입력받아 텍스트를 출력하며 에이전트 및 도구 호출, 프로그래밍 어시스턴트, 대화 및 검색 증강(RAG) 등의 애플리케이션을 대상으로 합니다. 구조는 48 레이어 디코더와 희소 전문가(Sparse Expert) 전방 신경망 계층으로 구성되며, 각 토큰은 384개의 전문가 중 8개를 선택하고 국소 및 전역 어텐션을 혼합합니다. 총 파라미터는 594B, 활성 파라미터는 17B이며, 최대 컨텍스트 길이는 1M 토큰입니다. 공식적으로 사전 학습, 중간 학습 및 후속 학습 모두 NVFP4 정밀도로 수행되었다고 명시되어 있어 NVFP4 체크포인트를 주로 권장하며, MXFP8 버전도 제공됩니다(공식 평가에서 점수 차이는 1–2 퍼센트 포인트 이내라고 함).

원제: thinkingmachines/Inkling-2-Small

Thinking Machines가 공개한 범용 멀티모달 모델로, 텍스트와 이미지를 입력받아 텍스트를 출력하며 에이전트 및 도구 호출, 프로그래밍 어시스턴트, 대화 및 검색 증강(RAG) 등의 애플리케이션을 대상으로 합니다. 구조는 48 레이어 디코더와 희소 전문가(Sparse Expert) 전방 신경망 계층으로 구성되며, 각 토큰은 384개의 전문가 중 8개를 선택하고 국소 및 전역 어텐션을 혼합합니다. 총 파라미터는 594B, 활성 파라미터는 17B이며, 최대 컨텍스트 길이는 1M 토큰입니다. 공식적으로 사전 학습, 중간 학습 및 후속 학습 모두 NVFP4 정밀도로 수행되었다고 명시되어 있어 NVFP4 체크포인트를 주로 권장하며, MXFP8 버전도 제공됩니다(공식 평가에서 점수 차이는 1–2 퍼센트 포인트 이내라고 함).

중요성 네이티브 저정밀도 형식으로 학습되었으며 가중치는 Apache 라이선스를 따릅니다. 주요 추론 및 후속 학습 프레임워크가 출시 즉시 지원되며, 로컬 배포와 자체 미세 조정 모두 가능합니다.

상승 점수 95 · 좋아요 95 · 다운로드 수 12

이유

  • 공식 평가 표에서 BrowseComp(컨텍스트 압축 포함) 90.2%, DeepSWE 72.1%, ARC-AGI-2 81.7%, OmniDocBench 94.6% 점수를 기록했습니다. 같은 표의 DeepSeek-V4.1-Flash-1017는 AA Index가 32.6이며, 이보다 높은 30.6 항목도 있으나 각 항목별로 우열이 갈립니다.
  • 배포 및 학습 생태계가 이미 갖춰져 있습니다. SGLang, vLLM, TokenSpeed, Unsloth에서 로컬 추론 레시피를 제공하며, Miles, SkyRL 등으로 후속 학습이 가능합니다. Together, Baseten, Cloudflare 등 제3자 서비스도 API를 제공합니다.
  • 공식적으로 보안 평가(FORTRESS, StrongREJECT 등) 및 사용 정책 링크가 별도로 나열되어 있습니다.

사용법

  • 먼저 Tinker Playground에서 온라인으로试用하거나 Tinker Cookbook을 참고하여 API를 호출하세요. Tinker로 미세 조정하려면 tml-renderers를 설치해야 합니다.
  • 로컬 환경: 모델 카드에 명시된 SGLang / vLLM 레시피를 사용하여 thinkingmachines/Inkling-2-Small(NVFP4)을 로드하세요. FP8가 필요한 경우 Inkling-2-Small-MXFP8을 사용하십시오.

리스크

  • 하드웨어 요구 사항이 높습니다: NVFP4 버전은 총 약 500GB의 VRAM이 필요하며(예: B300 카드 2개 또는 H200 카드 4개), MXFP8 버전은 약 800GB가 필요합니다.
  • 성능 표는 공식 제공 자료이며, 일부 비교 모델의 점수는 제3자 리더보드나 공개된 데이터셋에서 가져온 것으로 평가 설정이 서로 다릅니다.
  • 본 항목은 직접 실행되지 않았으므로 실제 효과는 모델 카드를 기준으로 하십시오.

열기

Hugging Face Trending

최신 AI 소식 보기