Anthropic 提出对齐 Bumpers 策略,主张用多层防护捕捉并修正早期 AGI 失准
Putting up Bumpers
AI 导读Anthropic 对齐科学博客提出名为 Bumpers 的对齐策略:即使无法彻底解决对齐问题,也可通过多层相互独立的防护来捕捉和修正失准模型。核心流程包括微调、并行审计、发现警告信号后回溯重训,以及部署后监控等次级防线,方法涵盖机制可解释性审计、红队测试、Clio 式批量监控和分阶段发布等。
来源:Anthropic:Alignment Science Blog · alignment.anthropic.com