Hugging Faceなどの機関による14.8BパラメータのDNA言語モデルは、10月24日にすでに収録済みです。通常のチャットにDNA配列を貼り付けると、変異が良性か病原性かを英語で判定し、配列内の制御領域や生物の種類を特定し、塩基の続きを生成することも可能です。今回再収録したのは、以前は「llama.cpp / GGUF非対応」と記載されていましたが、現在では公式からGGUF版がリリースされ、ローカル環境でllama.cppを実行できるようになったためです。
上昇スコア 75 · いいね 285 · ダウンロード数 3719
理由
- 10月24日時点との比較における新情報：公式リポジトリ HuggingFaceBio/Carbon-X-GGUF が公開され、BF16、Q8_0、Q6_K、Q5_K_M、Q4_K_M の5段階の量子化モデルを提供しています。llama.cpp は b11742 以降（PR #30825）で Carbon のハイブリッドDNAトークナイザーに対応しています。10月29日付のメインモデルカードでも、「llama.cpp およびその他のGGUFランタイムはサポートされていません」という記述が、GGUFリポジトリへのリンクに変更されました。
- 公式によると、llama.cpp版のトークナイザーはPython版と完全に一致しています。1,000件のベンチマークプロンプト（1.13Mトークン）と36件のDNA境界ケースにおいて、トークンID、デコードテキスト、チャットテンプレートのレンダリング結果がすべて同一であることを確認しています。すべてのK量子化において、DNAトークンを格納する埋め込み層と出力層はQ8_0のまま保持されています。
- 公式はllama.cppサーバーを使用して、2つのDNAベンチマークで各量子化段階をテストしました。FrontierVEP原版（vLLM）は70.4、BF16は69.6、Q8_0は69.1、Q4_K_Mは67.8です。NextBase原版は39.4、Q8_0は39.7、Q4_K_Mは38.6です。公式によれば、BF16からQ5_K_Mまではすべて原版の約1標準誤差以内に収まっており、Q4_K_Mは両方のベンチマークで最も低いスコアを示しました。
使い方
- llama.cppをb11742以上にダウンロードまたは更新します（llama.appのデスクトップ版またはGitHub releasesのプリビルドパッケージ）。
llama serve -hf HuggingFaceBio/Carbon-X-GGUF:Q8\_0を実行すると、WebチャットインターフェースとOpenAI互換APIが同時に起動します。ターミナルではllama cli -hf HuggingFaceBio/Carbon-X-GGUF:Q8\_0を使用します。 - GGUFファイルにはチャットテンプレートとデフォルトのサンプリングパラメータが含まれているため、追加の設定は不要です。公式のトレーニングおよび評価環境との一貫性を保つために、思考機能を無効にするために
--chat-template-kwargs '{"enable\_thinking": false}'を追加してください。 - ファイルサイズ：Q8_0は15.8 GB（公式推奨、BF16と同等のスコアと説明）、Q6_Kは12.6 GB、Q5_K_Mは11.1 GB、Q4_K_Mは9.6 GB（メモリが不足している場合）、BF16は29.7 GBです。質問する際は、参照配列と変異配列を同じメッセージ内に含め、遺伝子名、鎖の方向、座標などの既知の情報を添付してください。連続する6個以上のA/C/G/Tは自動的にDNAとして処理されます。
リスク
- 旧バージョンのllama.cpp（v0.7.0を含む）ではこれらのファイルを読み込めますが、DNAトークンを誤って分割し、エラーを出力しません。バージョンがb11742以上であることを必ず確認してください。
- 量子化版は5つのベンチマークのうち2つ（FrontierVEP、NextBase）のみでテストされており、各ベンチマークは単一サンプリングです。標準誤差はそれぞれ約1.5点と1点です。GenomeQAおよびBioReasonにおける量子化後の性能については、公式から提供されていません。
- 臨床検証は行われておらず、公式は医療判断への使用を明確に禁止しています。スプライシングサイトやヒストンマーカーに関する問題は元々弱く、長いDNA配列の生成品質は低下します。モデル出力のDNAは
<dna>…</dna>タグで囲まれており、llama.cppはこれをそのまま保持するため、純粋な配列が必要な場合は手動で削除する必要があります。
編集：ローカル実行の利点は、機密性が高く未発表の配列をサードパーティのサービスに送信しなくて済む点にあります。これはまさに公式が「制限事項」セクションで警告しているリスクです。