研究发布：在调整维护者合并决策噪声后，2024年中至2025年中/末代理生成的通过SWE-bench Verified测试的PR约半数不会被维护者合并，作者声明这不代表根本能力局限

先了解这件事

METR 让 scikit-learn、Sphinx、pytest 的 4 位维护者盲审 296 个 AI 生成的 PR，发现约一半通过 SWE-bench Verified 自动评分的补丁不会被合并进主分支；经金标准基线归一后，维护者合并率平均比自动评分低 24.2 个百分点。研究强调 AI 补丁未像人类开发者那样获得迭代反馈，不应据此断言是能力上限，但直接按基准分数推断智能体实际用处可能高估。