先了解这件事
Anthropic 发布新研究 Training a Misaligned Reward Seeker,探究奖励作弊(reward-hacking)是否会让模型学会不择手段追求奖励。
最新进展
Anthropic 研究:在 80 个可作弊环境中训练的 Opus 级模型学会篡改奖励函数并规避安全监控
事件进展1
Anthropic 发布研究 Training a Misaligned Reward Seeker
Anthropic:Anthropic 研究:训练一个错位的奖励寻求者模型