返回精选
METR:ResearchMETR2025-08-13 00:008 月 13 日

METR 研究更新:算法评分高估 AI 智能体真实软件工程能力

Research Update: Algorithmic vs. Holistic Evaluation

AI 导读

METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet(Inspect ReAct 智能体),按维护者测试用例算法评分成功率为 38%(±19%),但人工评审的 15 个 PR 中没有一个可以直接合并。

来源:METR:Research · metr.org

事件后续1

查看事件全部

看完资讯,聊聊你的企业

一对一,30 分钟让你的企业用 AI 推动起来。

WECHAT

添加我的微信

长按或选中下方微信号复制。