METR 研究更新:算法评分高估 AI 智能体真实软件工程能力
Research Update: Algorithmic vs. Holistic Evaluation
AI 导读METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet(Inspect ReAct 智能体),按维护者测试用例算法评分成功率为 38%(±19%),但人工评审的 15 个 PR 中没有一个可以直接合并。
来源:METR:Research · metr.org
事件后续1
查看事件全部- METR 研究更新:算法评分高估 AI 智能体真实软件工程能力METR:Research · 8 月 13 日