METR、AIタスク所要時間曲線を更新し、判断力を要するタスクを追加

MIT Technology Reviewによると、AI評価機関METRは「タスク所要時間」曲線を更新した。旧版では、人間がタスクを完了するのに要した時間に基づいて、モデルがどの程度の長さのタスクを完了できるかを測定しており、最先端モデルが完了できるタスクの長さは約4か月ごとに倍増していることが示されていた。新版では、より長時間を要し、よりオープンなタスクが追加された。その結果、一部の能力は依然として指数関数的に向上しているものの、判断力を要するタスクでは著しく遅れが見られる。例えば、モデルにMETR向けの新しいAI評価を設計させた場合、METRの従業員が有用だと考えた案は一つもなかった。また、哲学的論証の評価を行うタスクでは、モデルは人間に及ばなかった。UC BerkeleyのSayash Kapoor氏は、評価にはより創造性が必要であり、今回の拡張は良い変化だと考えている。

原題:The most misunderstood graph in AI just got a major update

MIT Technology Reviewによると、AI評価機関METRは「タスク所要時間」曲線を更新した。旧版では、人間がタスクを完了するのに要した時間に基づいて、モデルがどの程度の長さのタスクを完了できるかを測定しており、最先端モデルが完了できるタスクの長さは約4か月ごとに倍増していることが示されていた。新版では、より長時間を要し、よりオープンなタスクが追加された。その結果、一部の能力は依然として指数関数的に向上しているものの、判断力を要するタスクでは著しく遅れが見られる。例えば、モデルにMETR向けの新しいAI評価を設計させた場合、METRの従業員が有用だと考えた案は一つもなかった。また、哲学的論証の評価を行うタスクでは、モデルは人間に及ばなかった。UC BerkeleyのSayash Kapoor氏は、評価にはより創造性が必要であり、今回の拡張は良い変化だと考えている。

なぜ重要か この曲線は、AIによる研究開発の自動化の進捗を予測するために頻繁に用いられてきた。新しいタスクは、検証可能なタスクにおける進歩が、必ずしもオープンエンドなタスクへ転移するわけではないことを示している。

信頼性:比較的可信 · 出典 MIT Technology Review · イベント日時 11-21 02:15(北京時間)

理由

  • MIT Technology ReviewがMETRの新報告書を報道し、外部研究者へのインタビューを行っている
  • METRの曲線は、AIの進歩速度を議論する際に最も頻繁に引用されるデータの1つである

利用方法

  • METR公式サイトで完全な報告書を読むことができる

リスク

  • 新しいタスクは評価が難しい。METRの報告書にも、一部のタスクとAI研究開発の自動化との関連性について、従業員間で意見の相違があることが明記されている

開く

MIT Technology Review

最新の AI ニュースを見る