METR 研究认为尽管存在不忠实,思维链仍可作为监控模型行为的信息来源
CoT May Be Highly Informative Despite “Unfaithfulness”
AI 导读METR 复现 Anthropic 的 Claude Sonnet 3.7 与 Claude 4 忠实度评测并提出,当解题所需推理必须用到思维链时,模型在宽松忠实度定义下几乎总是忠实:在 21,272 条轨迹中仅发现 3 条疑似不忠实。
来源:METR:Research · metr.org
事件后续1
查看事件全部- METR 研究认为尽管存在不忠实,思维链仍可作为监控模型行为的信息来源METR:Research · 8 月 8 日