原题:The most misunderstood graph in AI just got a major update
据 MIT 科技评论,AI 评测机构 METR 更新了“任务时长”曲线:原版按人类完成任务所需时间衡量模型能完成多长的任务,显示前沿模型能完成的任务长度大约每四个月翻一番。新版加入了耗时更长、更开放的任务,结果显示部分能力仍在指数提升,但需要判断力的任务明显落后。例如让模型为 METR 设计新的 AI 评测,没有一个方案被 METR 员工认为有用;给哲学论证打分的任务上,模型也不如人类。UC Berkeley 的 Sayash Kapoor 认为评测需要更有创意,这次扩展是好的变化。
为什么重要 这条曲线常被用来预测 AI 自动化研发的进度;新任务显示可验证任务上的进步不一定能迁移到开放式任务。
可信度:较可信 · 来源 MIT Technology Review · 事件时间 11-21 02:15(北京时间)
理由
- MIT 科技评论报道 METR 新报告,并采访了外部研究者
- METR 曲线是讨论 AI 进步速度时引用最多的数据之一
用法
- METR 官网可读完整报告
风险
- 新任务难以打分;METR 报告也写明,员工对部分任务和 AI 研发自动化的相关性有分歧