听完 Sutton 的这期播客:有趣且发人深省
Finally had a chance to listen through this pod with Sutton, which was interesting and amusing. As ...
AI 导读Sutton(《The Bitter Lesson》作者)在播客中质疑 LLM 并非真正的"苦涩的教训"产物——它们依赖有限的人类数据且充满偏见。他主张 AI 应像动物一样通过 RL 与世界动态交互,而非模仿人类文本。作者认同 LLM 确实充斥人工干预,但认为预训练是应对冷启动的实用"进化替代方案",纯 RL 在现实世界难以行得通。
来源:Andrej Karpathy · x.com