Anthropic 发布试点版破坏风险报告,评估 Claude Opus 4 的对齐风险
Anthropic's Pilot Sabotage Risk Report
AI 导读Anthropic 发布《2025 年夏季试点破坏风险报告》,作为其负责任扩展政策下对齐类风险论证的试点成果。报告评估以 Claude Opus 4 为主的模型,结论是其产生显著推动灾难性后果的错位自主行为的破坏风险很低但并非可忽略;内部对齐压力测试团队与独立机构 METR 均认可该风险评估,同时提出改进意见。
来源:Anthropic:Alignment Science Blog · alignment.anthropic.com