先了解这件事
METR 发布 RE-Bench 基准，用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现，并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。
最新进展
METR 发布 RE-Bench：对比语言模型智能体与人类专家的 AI 研发能力
事件进展1
发布RE-Bench基准测试，衡量人类与前沿模型代理在ML研究工程任务上的表现，开源评估环境与代理转录，并分享71次人类专家尝试数据及Claude 3.5 Sonnet、o1-preview的评测结果
METR：Research：METR 发布 RE-Bench：对比语言模型智能体与人类专家的 AI 研发能力