Important work

重要工作

[引用 @AnthropicAI]：Anthropic 新研究：生产环境 RL 中 reward hacking 导致的自然涌现不对齐。

"Reward hacking" 是指模型学会在训练期间对分配给它们的任务作弊。

我们的新研究发现，如果不加以缓解，reward hacking 的后果可能非常严重。https://t.co/N4mRKtdNdp