MemTensor チームが公開した「メモリ基盤モデル」:バックボーンのアテンション機構にネイティブのメモリモジュールを追加し、過去の対話を固定サイズのメモリ状態に書き込むことで、推論時に元のコンテキストを持たせる必要がなくなります。
スター数 432(+9 / 24時間)
理由
- 2つのバージョンがあります:Nano は Qwen3.6-35B-A3B に基づいており(総パラメータ数 36B、アクティブパラメータ数 3B)、Flash は DeepSeek-V4-Flash に基づいています(総パラメータ数 288B、アクティブパラメータ数 17B)。重みは Hugging Face の MemTensor 組織の下にあります。
- 公式によれば、128K の履歴長において、永続状態は完全な KV キャッシュと比較してストレージを約 66 倍節約します。また、11 個のメモリベンチマークにおいて、両モデルはパラメータ化メモリ手法の中でそれぞれ1位と2位を占めています。
- 公式はまた、詳細な証拠検索が必要な長い履歴において、テキストベースのメモリシステム全体が依然として優位であることを明記しています。
- 「経験に基づくコーディングエージェント」の例が付属しています:検索された経験はネイティブメモリに保存され、タスクコンテキストを消費しません。技術レポートは arXiv 2610.26825 を参照してください。
使い方
- NVIDIA CUDA が利用可能な Linux サーバー上で inference ディレクトリに入り、
uv pip install '.\[server\]'を実行します。クライアント環境には'.\[client\]'をインストールします。 sh start\_memt\_nano.sh /models/MemT-1.0-Nanoでサービスを開始します(例では2枚の GPU を使用)。その後、memt\_sglangのMemTSessionを使用して対話を行い、enable\_memory=Trueに設定すると対話がメモリに書き込まれます。
リスク
- コードは PolyForm Noncommercial 1.0.0、論文資料は CC BY-NC-SA 4.0 であり、いずれも商用利用ができません。
- マルチ GPU と完全な BF16 重みが必要です。README にある対話例の応答はイメージであり、実際の動作記録ではありません。
- 24 時間あたりの新規スター数は非常に少なく、注目度はまだ低いです。