原題:TPU 8tx and TPU 8i Max
Googleが第8世代TPUを拡充:TPU 8txはTPU 8tと同じチップを使用し、AMD EPYCホストと組み合わせることで、ハードウェアレベルで実行中のデータとモデルの重みを保護し、規制産業向けの機密推論に対応する。Googleによれば、遅延は8tと比較して最大で半分まで低減される。TPU 8i Maxは2つの8iチップをパッケージングし、計算能力、SRAM、HBM帯域幅がすべて8iの2倍となり、超長コンテキストに対応する。4月に発表された8tと8iを含めると、これはGoogleが1年以内に発表した4番目のTPUシステムであり、GoogleはTPUの顧客数が約100社に達したと述べている。
なぜ重要か GoogleはTPUをトレーニング、推論、機密計算、長コンテキストの4種類のシステムに分離し、NVIDIAのGPUとの顧客獲得競争を継続している。
信頼性:高い信頼性 · 出典 Googleなど2社(公式含む) · イベント日時 11-09 20:59(北京時間)
理由
- Google公式ブログで発表され、The Decoderでも報道されている
利用方法
- 発売時期と価格はGoogle Cloudのページを参照のこと
リスク
- 性能数値はすべてGoogleの自己申告によるもの