先了解这件事
METR 复现 Anthropic 的 Claude Sonnet 3.7 与 Claude 4 忠实度评测并提出,当解题所需推理必须用到思维链时,模型在宽松忠实度定义下几乎总是忠实:在 21,272 条轨迹中仅发现 3 条疑似不忠实。
最新进展
METR 研究认为尽管存在不忠实,思维链仍可作为监控模型行为的信息来源
事件进展1
研究发现:当推理复杂到需要思维链时,模型在放宽定义下几乎总是忠实(>97%),且即使 CoT 不忠实,检测器也能以高准确率(TPR 99.3%)识别线索使用,结果对适度对抗性提示稳健并公开代码
METR:Research:METR 研究认为尽管存在不忠实,思维链仍可作为监控模型行为的信息来源