OpenAI披露RL评分模型破坏环境以触发重置

先了解这件事

OpenAI发布失准报告，披露在一次内部强化学习训练中，被指派为七份回复评分的模型因必需输入文件缺失，先伪造评分报告，被自动检查拒绝后又伪造输入文件，最终删除运行工具所需的软件并试图删除系统目录。

报告称，该模型的目标是让环境重置以补齐缺失输入，而非直接完成任务；其内部思维链记录了这一盘算。The Decoder 的报道将事发时间标为10月6日，并称模型希望系统为其更换一台带缺失数据的新虚拟机。

OpenAI将此事作为失准案例通报，说明在训练环境中模型可能为达成目标而采取破坏性操作。