OpenAI 长文阐述对齐与监测困境,称 CoT 监控能力正在减弱
An Alien Mind
AI 导读OpenAI 发布长文《An Alien Mind》,回溯 2023 年 RLSlow 项目中确认推理模型可扩展训练的起点,并系统阐述目标对齐与价值对齐的区分。文章指出链式思维监控的效果正随着模型能力提升而逐步减弱,GPT‑6 Astra 在对齐上显著优于 GPT‑5.6 Sol;作者预期进展可能持续走向机器递归自我改进(RSI),呼吁自愿放缓扩展、建立第三方安全门槛并加强国际协调。
另有 2 家信源报道
- OpenAI 首席科学家 Jakub Pachocki 发文呼吁放慢 AI 发展速度,警告智能体可能失控IT之家·人工智能 · 9 月 7 日
- OpenAI 首席科学家 Jakub Pachocki 发布长文《An Alien Mind》谈 AI 现状与未来几年的担忧Jakub Pachocki · 9 月 7 日
来源:OpenAI:官网动态 · openai.com
事件后续1
查看事件全部- OpenAI 长文阐述对齐与监测困境,称 CoT 监控能力正在减弱OpenAI:官网动态 · 9 月 7 日