研究：在18个开源软件任务上评估Claude 3.7 Sonnet代理，发现基于单元测试的算法评分高估AI代理真实能力，人工评审的PR无一可原样合并

先了解这件事

METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet（Inspect ReAct 智能体），按维护者测试用例算法评分成功率为 38%（±19%），但人工评审的 15 个 PR 中没有一个可以直接合并。