元OpenAI研究者、中国の6モデルがBlackwellで訓練されたと主張

元OpenAI研究者のWill DePue氏は分析結果を発表し、DeepSeek、Moonshot AI(月之暗面)、MiniMax、およびAnt Group(蚂蚁集団)が2026年4月以降に公開した6つのオープンウェイトモデルにはNvidia Blackwellの特徴が見られる一方、DeepSeek-V3やKimi K2.5などより以前のモデルはHopperの特徴を示していると述べた。その原理は、PyTorchが重みを初期化する際、乱数がGPUの計算コア数に応じて割り当てられ、Hopperでは132コア、Blackwellでは148または152コアであるため、訓練後も一部の重みにこの分布が残存するというものだ。同氏はハードウェアが既知の対照モデル24件で全て正しく判定でき、実際のBlackwell環境でDeepSeek-V4-FlashとKimi K3の結果を再現したとし、検証コードはGitHubに公開済みだと説明した。The Decoderによると、同氏は5回の訓練合計で約1.2万個のBlackwell GPUが使用され、ハードウェアコストは5億ドルを超えると推定している。一方、TechCrunchは、これはどのチップが使用されたかを示すに過ぎず、チップは海外のデータセンターでレンタルされている可能性があり、これだけで輸出規制違反と断定することはできないと指摘している。

原題:Former OpenAI researcher says he found Nvidia Blackwell fingerprints hidden inside six Chinese AI models

元OpenAI研究者のWill DePue氏は分析結果を発表し、DeepSeek、Moonshot AI(月之暗面)、MiniMax、およびAnt Group(蚂蚁集団)が2026年4月以降に公開した6つのオープンウェイトモデルにはNvidia Blackwellの特徴が見られる一方、DeepSeek-V3やKimi K2.5などより以前のモデルはHopperの特徴を示していると述べた。その原理は、PyTorchが重みを初期化する際、乱数がGPUの計算コア数に応じて割り当てられ、Hopperでは132コア、Blackwellでは148または152コアであるため、訓練後も一部の重みにこの分布が残存するというものだ。同氏はハードウェアが既知の対照モデル24件で全て正しく判定でき、実際のBlackwell環境でDeepSeek-V4-FlashとKimi K3の結果を再現したとし、検証コードはGitHubに公開済みだと説明した。The Decoderによると、同氏は5回の訓練合計で約1.2万個のBlackwell GPUが使用され、ハードウェアコストは5億ドルを超えると推定している。一方、TechCrunchは、これはどのチップが使用されたかを示すに過ぎず、チップは海外のデータセンターでレンタルされている可能性があり、これだけで輸出規制違反と断定することはできないと指摘している。

なぜ重要か この主張が事実であれば、輸出規制にもかかわらず中国の主要な研究所がNvidiaの最新チップを利用できていることを示唆し、Nvidiaおよび米国の規制当局への圧力が高まる可能性がある。

信頼性:未確認 · 出典 The Decoderなど2社 · イベント日時 11-13 23:21(北京時間)

理由

  • The DecoderとTechCrunchの2つのメディアが報道し、DePue氏は検証コードを公開した

リスク

  • 「指紋」は重み初期化に使用されたハードウェアのみを反映しており、訓練全体が同じチップセットで行われたかどうかは推測である
  • 密輸や違法行為を証明するものではない:チップはマレーシアなどのデータセンターでレンタルされている可能性がある
  • DePue氏はOpenAIとAnthropicのシニア研究者が手法を確認したと述べているが、正式な査読はまだ行われていない

開く · TechCrunch

The Decoder

最新の AI ニュースを見る