Anthropic 开发并评估三个自动执行对齐审计的智能体
Anthropic 发布三个自主执行对齐审计任务的智能体,并用含植入缺陷的模型环境进行评估。调查智能体在真实条件下以 13% 的胜率解开 Marks et al. 审计博弈,多智能体聚合后提升到 42%;评估智能体在 88% 的运行中能区分有/无植入行为的模型;广度优先红队智能体发现 10 个植入行为中的 7 个。
推荐理由:Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩,并公开部分代码与提示词,读者可以了解自动化审计的实际能力与局限。