Thinking Machines, 로컬 모델 Inkling 2 Mini 오픈소스 공개

Thinking Machines Lab이 11월 20일에 Inkling 2 Mini를 오픈소스로 공개했습니다. 이 모델은 혼합 전문가(MoE) 아키텍처를 채택했으며, 총 파라미터는 264억 개, 활성 파라미터는 34억 개입니다. 모델의 중간 계층은 각 토큰에 대해 세 번 반복 실행되어 더 적은 토큰으로 더 많은 추론을 수행합니다. 공식 발표에 따르면 DeepSWE v1.1(48.2%) 및 Vals Index v2.2(46.5%) 등의 벤치마크에서 총 파라미터가 1000억 개 미만인 모든 오픈소스 모델보다 성능이 앞섭니다. 가중치의 대부분은 NVFP4 형식이며 마지막 네 계층은 MXFP8 형식이고, 총 메모리 사용량은 약 20GB로 소비자용 노트북에서도 실행할 수 있습니다. Hugging Face 블로그에 따르면 이 모델은 100만 토큰의 컨텍스트와 이미지-텍스트 입력을 지원하며, 출시 첫날부터 transformers, llama.cpp, MLX 및 SGLang을 지원합니다. 또한 반복 횟수를 조정할 수 있는 연구용 버전도 함께 공개되었습니다.

원제: Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

Thinking Machines Lab이 11월 20일에 Inkling 2 Mini를 오픈소스로 공개했습니다. 이 모델은 혼합 전문가(MoE) 아키텍처를 채택했으며, 총 파라미터는 264억 개, 활성 파라미터는 34억 개입니다. 모델의 중간 계층은 각 토큰에 대해 세 번 반복 실행되어 더 적은 토큰으로 더 많은 추론을 수행합니다. 공식 발표에 따르면 DeepSWE v1.1(48.2%) 및 Vals Index v2.2(46.5%) 등의 벤치마크에서 총 파라미터가 1000억 개 미만인 모든 오픈소스 모델보다 성능이 앞섭니다. 가중치의 대부분은 NVFP4 형식이며 마지막 네 계층은 MXFP8 형식이고, 총 메모리 사용량은 약 20GB로 소비자용 노트북에서도 실행할 수 있습니다. Hugging Face 블로그에 따르면 이 모델은 100만 토큰의 컨텍스트와 이미지-텍스트 입력을 지원하며, 출시 첫날부터 transformers, llama.cpp, MLX 및 SGLang을 지원합니다. 또한 반복 횟수를 조정할 수 있는 연구용 버전도 함께 공개되었습니다.

왜 중요한가 파라미터 수를 늘리는 대신 반복 계층을 통해 추론 성능을 향상시켰으며, 오픈소스 가중치 크기가 작아 노트북에서도 실행 가능하여 로컬 코딩 에이전트 선택지가 하나 더 늘었습니다.

신뢰도: 높음 · 출처 Thinking Machines Lab 등 2개(공식 포함) · 이벤트 시간 11-20 08:00(베이징 시간)

이유

  • Thinking Machines 공식 발표 페이지와 Hugging Face 공식 블로그가 같은 날 게시되었으며, 아키텍처 세부 사항과 벤치마크 표가 포함됨
  • 오픈소스 가중치로, 일반적인 로컬 추론 프레임워크가 첫날부터 지원함

사용법

  • Hugging Face에서 가중치를 다운로드하여 transformers, llama.cpp 또는 MLX를 사용해 로컬에서 실행하거나, Thinking Machines의 Tinker 플랫폼에서 추론 및 미세 조정 수행 가능

리스크

  • 벤치마크 점수는 Thinking Machines가 자체 보고한 것이며, 각 모델의 벤치마크 설정이 다름
  • 공식 설명에 따르면 반복 실행이 모델이 기억하는 지식을 증가시키지 않으며, 지식 관련 벤치마크는 동일 크기의 모델과 비슷한 수준임

열기 · Thinking Machines Lab

Hugging Face

최신 AI 소식 보기