Anthropic 开源 AI 安全审计工具 Petri,用智能体自动测试模型对齐行为
Petri: An open-source auditing tool to accelerate AI safety research
AI 导读Anthropic 发布开源自动审计框架 Petri(Parallel Exploration Tool for Risky Interactions),用 AI 审计智能体在多轮场景中测试目标模型,工具地址为 github.com/safety-research/petri。
来源:Anthropic:Alignment Science Blog · alignment.anthropic.com