先了解这件事
Trail of Bits 发文批评 1Password 8月6日发布的 FLAWED 报告,称其 26% 的 AI 干净修复率受四项实验设计选择影响而失真,包括刻意指示智能体应用错误修复的提示词占 22% 数据、36% 的试验禁止编译测试,以及不同推理档位设置。
最新进展
Trail of Bits 批评 1Password 的 AI 补丁基准存在误导,并发布两个补丁验证 Agent 技能
事件进展1
Trail of Bits 发文批评 1Password 8月6日发布的 AI 补丁基准报告误导,称样本挑选、误导提示、禁测试验与评分问题使 26% 干净修复率不可作为 AI 补丁能力依据
Trail of Bits:AI安全研究:Trail of Bits 批评 1Password 的 AI 补丁基准存在误导,并发布两个补丁验证 Agent 技能