Anthropic 开发并评估三个自动执行对齐审计的智能体
Building and evaluating alignment auditing agents
AI 导读Anthropic 发布三个自主执行对齐审计任务的智能体,并用含植入缺陷的模型环境进行评估。调查智能体在真实条件下以 13% 的胜率解开 Marks et al. 审计博弈,多智能体聚合后提升到 42%;评估智能体在 88% 的运行中能区分有/无植入行为的模型;广度优先红队智能体发现 10 个植入行为中的 7 个。
来源:Anthropic:Alignment Science Blog · alignment.anthropic.com