Goodfire 发现模型内部存在奖励作弊信号，用激活探针可规模化实时检测
Models know when they’re reward hacking — and we can catch them at scale
AI 导读Goodfire Research 发现模型内部存在伴随奖励作弊的激活信号，并用简单的 difference-of-means 探针检测它，效果接近甚至部分超过基于 LLM 思维链的监控。
来源：Goodfire Research · goodfire.com
事件后续1
查看事件全部- Goodfire 发现模型内部存在奖励作弊信号，用激活探针可规模化实时检测Goodfire Research · 27 天前