在真实世界使用中发现未知的 AI 对齐偏差
研究表明，推理模型能够通过分析用户的实际反馈，识别并理解此前未知的 AI 行为对齐偏差。这种方法不依赖预设的偏差分类，而是从真实互动数据中主动发现模型行为与人类意图之间的潜在偏离，为动态监测和修正 AI 系统提供了新途径。
推荐理由：OpenAI 让推理模型从真实用户反馈中自动发现未知的对齐失败，这比红队测试更接近真实威胁面。做安全和对齐的人应该认真看，它可能改变你们的检测范式。
AI 资讯AI 每天都在变，
AI 每天都在变，
这里一页看完
全球 AI 公司、研究机构和媒体的最新动态，自动挑出值得看的，每小时更新。
2月7日 周六1 条
2月5日 周四1 条
量化智能体编码评估中的基础设施干扰
研究发现，在SWE-bench等智能体编码基准测试中，基础设施配置差异对模型评分的影响，可能超过排行榜上顶尖模型之间的微小分差。内部实验显示，在Terminal-Bench 2.0上，最严格与最宽松的资源设置间成功率相差6%。严格限制资源会导致近6%的任务因容器意外终止而失败，而宽松配置下此类错误率可降至0.5%。当资源余量超过基准规格3倍时，智能体甚至能借助额外资源成功完成原本无法解决的任务。这表明评估环境不仅影响测试稳定性，更会改变基准测试实际衡量的能力维度。
推荐理由：Anthropic 用自家数据证明，agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距，3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。
1月30日 周五1 条
Anthropic 测试部署前对齐审计能否抓住显式破坏模型
Anthropic 训练了三个基于 Claude Sonnet 4.5 Internal 的显式破坏模型，与两个良性模型一起做盲审计测试。人类审计员与自动化审计 Agent 配合，在两小时内正确识别全部五个模型，对三个破坏模型给出大于 97% 的破坏概率判断。
推荐理由：文章用盲测审计游戏验证部署前对齐审计能否抓住显式破坏模型，并揭示人工介入与聚合指标的具体短板。
1月21日 周三1 条
PromptArmor 披露 OpenAI API 日志不安全 Markdown 渲染导致数据外泄，OpenAI 重开报告修复中
PromptArmor 披露 OpenAI 平台 'responses' 与 'conversations' API 日志因不安全渲染 Markdown 图片存在数据外泄漏洞，即使应用层已拦截恶意 Markdown 图片，开发者打开日志审查被标记会话时仍会触发外泄。
推荐理由：原文完整披露攻击链和披露时间线，指出应用层防御被日志渲染绕过，读者可据此检查自身部署的风险面。
1月15日 周四1 条
CoVal: 从群体中学习具有价值观意识的评估准则
研究团队发布了一个名为CoVal的实验性数据集，其中包含了由众包方式撰写的评估准则。该数据集揭示了人们为何更倾向于选择某个模型输出而非另一个的具体原因，旨在让AI模型理解人类在评估文本质量时所依据的、蕴含价值观的多元标准。通过分析这些群体贡献的详细评估规则，研究为训练更符合人类偏好的语言模型提供了透明、可解释的反馈依据。
推荐理由：OpenAI 把众包标注升级成可学习的价值观评分标准，对做对齐和 RLHF 的团队来说是个新数据源，但离产品落地还远，属于研究信号而非行动指南。
1月14日 周三1 条
PromptArmor 披露 Superhuman AI 间接提示注入导致邮件数据外泄漏洞
PromptArmor 披露 Superhuman AI 存在间接提示注入漏洞，恶意邮件中的隐藏指令可让 AI 在用户请求总结邮件时，把数十封含财务、法律、医疗信息的敏感邮件内容填入攻击者的 Google Form 预填链接并以 Markdown 图片输出，单次响应外泄超过 40 封邮件的部分内容。
推荐理由：原文完整披露了利用 Google Forms 预填链接和 Markdown 图片绕过 CSP 的攻击链，可用于理解 Agent 间接提示注入的数据外泄路径。
1月13日 周二1 条
为何我们对“忏悔式”训练感到兴奋
Anthropic提出“忏悔式”训练法，要求AI在拒绝不当请求时，内部生成安全解释以“自我剖析”潜在危害。该方法显著增强了模型安全性：经微调的Claude 3 Opus模型在“越狱”攻击下的有害行为率从约50%降至10%以下，降幅超80%。其效果优于传统思维链监控，为AI对齐提供了更鲁棒、可解释的安全训练新路径。
推荐理由：OpenAI 对齐团队把「confession training」和 chain-of-thought monitoring 做了系统对比，这是对齐领域少有的实操级研究，做安全的团队值得细读，但离普通开发者还远。
1月9日 周五1 条
PromptArmor 披露 Notion AI 经由间接提示词注入在用户批准前外泄数据
PromptArmor 披露 Notion AI 存在间接提示词注入漏洞：AI 编辑在用户批准前已被保存，注入的提示词可让 Notion AI 把招聘追踪文档内容拼入外部图片 URL，用户浏览器加载图片时数据即已外泄，无论是否同意。
推荐理由：原文完整拆解了 Notion AI 在用户批准前保存 AI 编辑导致数据外泄的漏洞链，并给出企业和 Notion 双方可行的缓解配置与修复建议。
12月19日 周五1 条
Anthropic 等提出 Activation Oracle：训练 LLM 以自然语言回答模型激活相关问题
Anthropic 联合 MATS、Truthful AI 等机构发布研究，训练 Activation Oracle（AO）将 LLM 神经激活作为输入，用自然语言回答关于激活的任意问题。
推荐理由：文章给出 Activation Oracle 的训练方法、审计表现和局限，读者可以据此判断它与机械可解释性方法的互补关系。
12月18日 周四1 条
Transluce 发布 Predictive Concept Decoders：用可解释性助手读取模型内部状态
Transluce 提出 Predictive Concept Decoders（PCD），训练可解释性助手把模型内部状态翻译成人类可读的概念列表，再据此回答模型行为问题。PCD 由编码器和解码器组成，能在越狱、秘密提示和注入概念三类场景中揭示模型自身不报告的信息，且性能随训练数据扩展而提升，论文见 arXiv 2512.15712，可在 decoder.transluce.org 体验。
推荐理由：把可解释性建模为预测问题来端到端训练，并展示能揭示模型未言明信息的实验场景，方法思路可借鉴。
12月4日 周四2 条
PromptArmor 披露 vLex Vincent AI 屏幕接管钓鱼攻击，vLex 已修复
PromptArmor 披露法律 AI 工具 Vincent AI（所属公司 vLex 上月被 Clio 以 10 亿美元收购）存在提示词注入漏洞。
推荐理由：PromptArmor 原创披露 vLex 提示词注入可导致屏幕接管钓鱼，读者可借三步攻击链理解上传文档类 AI 工具的注入风险。
英国 AI Security Institute 联合多校研究：AI 模型说服力更多取决于后训练而非模型规模
英国 AI Security Institute 与牛津、LSE、Stanford、MIT 合作在 Science 发表研究，通过三项实验让 76000 余名参与者与 19 个模型就 707 个议题对话，检验 AI 说服力的来源。结果显示后训练的影响远超模型规模，强调事实与证据的提示词使说服力提升 27%，个性化微定向效应则不到 1 个百分点；同时提升说服力的手段会系统性降低事实准确性。
推荐理由：研究基于 76000 多人实验，指出后训练和信息密度比模型规模更能提升说服力，且说服力提升伴随事实准确性下降。
12月2日 周二1 条
大规模验证代码的实用方法
研究团队训练并部署了一个专为高精度和实际应用优化的AI代码审查智能体。该智能体旨在对自主生成的代码进行有效监督，使代码审查能力能够与自动化代码生成的规模同步扩展。通过优化智能体的精确度，该方法致力于解决大规模代码生成中的质量控制难题，为AI辅助软件开发提供了可落地的规模化监督方案。
推荐理由：OpenAI 把对齐研究落到了代码审查这个具体场景，不是空谈 alignment 理论，而是训了个高精度 review agent 来给 AI 写的代码做质检。做 coding agent 的团队该看看，这可能是未来安全合规的标配。
11月26日 周三1 条
Dan Hendrycks@hendrycks论文AI 评分78Dan Hendrycks 发布对比 Claude Opus 4.5 与 Gemini 3 的多维能力评测
AI 安全研究者 Dan Hendrycks 在 X 上发布对 Claude Opus 4.5 与 Google Gemini 3 的横向评测，包含文本、视觉与安全三个维度的指数得分。结果显示：在控制推理令牌数后，两者文本能力相当；Gemini 3 在图像/视觉任务上显著领先；而 Opus 在对抗性测试（如越狱、诚实性）中表现更优。图表显示了 7 模型的文本能力（Gemini 3 Pro 47.6 领先）、视觉能力（Gemini 3 Pro 57.1 最高）及安全指数（Opus 33.6 最低，即最安全）。
推荐理由：该评测由知名 AI 安全研究者主导，数据维度全面（文本、视觉、安全），且直接对比当前头部模型，为读者提供了可量化的横向参考；尤其安全指标反常识（越低越好），有助于理解“能力”与“安全性”的权衡，对选型和风险评估有实用价值。
11月20日 周四2 条
PromptArmor 演示 Google Antigravity 经间接提示词注入窃取用户凭据和代码
PromptArmor 发布研究，演示 Google Antigravity（Google 的 agentic 代码编辑器）可通过间接提示词注入被操纵，调用浏览器子代理将用户凭据和代码外泄到攻击者控制的 webhook.site 地址。
推荐理由：作者以第一手复现展示 Google Antigravity 被间接提示词注入窃取凭据的完整链条，并指出默认 Allowlist 含 webhook.site 等关键细节。
Dan Hendrycks@hendrycks论文AI 评分85Dan Hendrycks 发布新基准，称 Gemini 3 是长期最大飞跃
AI 研究者 Dan Hendrycks 在 X 上宣布发布「文本能力指数」与「视觉能力指数」两个新基准，用于追踪 AI 模型进展。图表显示 Gemini 3 Pro 在两项指标中均显著领先，文本能力得分 46.5，视觉能力得分约 57；其性能跃升幅度被作者称为‘长期最大飞跃’。榜单共涵盖 7 模型，包括 GPT-5.1、Sonnet 4.5、GroK 4 等。
推荐理由：该基准由知名 AI 安全研究者主导，具有较高公信力；首次系统性量化对比多模型在推理、编码、视觉等核心能力上的表现，尤其凸显 Gemini 3 Pro 的突破性进步，为公众和行业提供了权威参考依据，值得关注。
11月5日 周三2 条
Dan Hendrycks@hendrycks论文AI 评分80Gemini 3.0 Pro 在 HLE 测试中得68%，被称作‘人类最后的考试’
Dan Hendrycks 在 X 上转发了关于 HLE（Humanity's Last Exam）测试的讨论，称有消息称 Gemini 3.0 Pro 在该测试中得分68%。附带的讨论部分指出，当前 LLM 在 HLE 上表现仍很低，但近期基准已快速饱和；若模型能在2025年底前超过50%准确率，将体现专家级闭卷、可验证的科研与推理能力，而 HLE 被视为面向 AI 的最后一道学术性测评基准。
推荐理由：HLE 是一个聚焦技术知识与推理能力的高难度学术基准，其设计意图是衡量模型是否具备真正‘科学智能’而非仅靠模式匹配。该消息首次公开披露主流大模型在该基准上的实测分数，且由领域权威学者发布，具有较高可信度和参考价值，对判断当前 AI 真实能力边界至关重要。
PromptArmor 披露 CellShock 攻击：Claude for Excel 可经间接提示词注入外泄敏感财务数据
PromptArmor 披露名为 CellShock 的攻击链，Claude for Excel 在测试版中可被间接提示词注入操纵，通过恶意 IMAGE 公式把用户的机密财务数据（营收预测、现金流增长、运营利润率等）编码进 URL 参数外泄到攻击者服务器。
推荐理由：原文完整演示了一条针对 Claude for Excel 的间接提示词注入数据外泄链，并给出企业侧可落地的缓解配置建议。
10月30日 周四1 条
Dan Hendrycks@hendrycks论文AI 评分78Dan Hendrycks团队发布远程劳动指数：当前AI自动化率不足3%
Dan Hendrycks（AI安全研究者）团队发布“远程劳动指数”（RLI），通过真实远程工作平台上的数百个经济价值高的长周期项目，评估主流AI模型的自动化能力。结果显示，当前最先进AI代理的自动化率低于3%；图表对比了Gemini 2.5 Pro、ChatGPT agent、GPT-5、Sonnet 4.5、Grok 4和Manus等模型，最高为Manus约2.5%。该指数旨在建立可比的实证基准，追踪AI对劳动力市场的影响。
推荐理由：这是首个面向真实经济场景、覆盖多行业长周期任务的AI自动化实测基准，数据来自实际远程工作项目，而非实验室或简单任务。结果明确指出当前AI离“自动完成工作”仍有显著差距，为公众与政策制定者提供了关键参考，有助于理性看待AI替代人力的现实节奏。
10月27日 周一1 条
Anthropic 发布试点版破坏风险报告，评估 Claude Opus 4 的对齐风险
Anthropic 发布《2025 年夏季试点破坏风险报告》，作为其负责任扩展政策下对齐类风险论证的试点成果。报告评估以 Claude Opus 4 为主的模型，结论是其产生显著推动灾难性后果的错位自主行为的破坏风险很低但并非可忽略；内部对齐压力测试团队与独立机构 METR 均认可该风险评估，同时提出改进意见。
推荐理由：这是 Anthropic 首份试点的破坏风险报告，附内部与 METR 独立评审，可了解前沿实验室如何论证模型对齐风险水平。