Thinking Machines がローカルモデル Inkling 2 Mini をオープンソース化

Thinking Machines Lab は 11 月 20 日に Inkling 2 Mini をオープンソース化しました。混合専門家(MoE)アーキテクチャを採用し、総パラメータ数は 264 億、アクティブパラメータ数は 34 億です。モデルの中間層では各トークンに対して3回の循環処理を行い、より少ないトークンでより多くの推論を実現します。公式によれば、DeepSWE v1.1(48.2%)や Vals Index v2.2(46.5%)などのベンチマークにおいて、総パラメータ数が 1000 億未満のすべてのオープンソースモデルを上回っています。重みの大部分は NVFP4、最後の4層は MXFP8 で、総メモリ使用量は約 20GB であり、コンシューマー向けノートパソコンでも動作します。Hugging Face のブログによると、モデルは 100 万トークンのコンテキストと画像・テキスト入力に対応し、初日から transformers、llama.cpp、MLX、SGLang をサポートしています。また、循環回数を調整可能な研究用バージョンも同時に公開されました。

原題:Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

Thinking Machines Lab は 11 月 20 日に Inkling 2 Mini をオープンソース化しました。混合専門家(MoE)アーキテクチャを採用し、総パラメータ数は 264 億、アクティブパラメータ数は 34 億です。モデルの中間層では各トークンに対して3回の循環処理を行い、より少ないトークンでより多くの推論を実現します。公式によれば、DeepSWE v1.1(48.2%)や Vals Index v2.2(46.5%)などのベンチマークにおいて、総パラメータ数が 1000 億未満のすべてのオープンソースモデルを上回っています。重みの大部分は NVFP4、最後の4層は MXFP8 で、総メモリ使用量は約 20GB であり、コンシューマー向けノートパソコンでも動作します。Hugging Face のブログによると、モデルは 100 万トークンのコンテキストと画像・テキスト入力に対応し、初日から transformers、llama.cpp、MLX、SGLang をサポートしています。また、循環回数を調整可能な研究用バージョンも同時に公開されました。

なぜ重要か パラメータの積み増しではなく循環層によって推論性能を向上させ、オープンソースの重みはノートパソコンに収まるサイズであり、ローカルでのプログラミングエージェントに新たな選択肢が加わった。

信頼性:高い信頼性 · 出典 Thinking Machines Lab など 2 社(公式を含む) · イベント日時 11-20 08:00(北京時間)

理由

  • Thinking Machines の公式発表ページと Hugging Face の公式ブログが同日に公開され、アーキテクチャの詳細とベンチマーク表が添付されている
  • オープンソースの重みであり、一般的なローカル推論フレームワークが初日からサポートしている

使い方

  • Hugging Face から重みをダウンロードし、transformers、llama.cpp、または MLX を使用してローカルで実行できる。Thinking Machines の Tinker プラットフォームで推論やファインチューニングを行うことも可能

リスク

  • ベンチマークスコアは Thinking Machines が独自に報告したものであり、各モデルのベンチマーク設定は異なる
  • 公式の説明では、循環処理によってモデルが記憶できる知識は増加せず、知識関連のベンチマークでは同サイズのモデルと同等の性能にとどまる

開く · Thinking Machines Lab

Hugging Face

最新の AI ニュースを見る