Adaptive Thinking: 大型语言模型知道何时在潜在空间中思考
Adaptive Thinking: Large Language Models Know When to Think in Latent Space
AI 导读研究提出了一种名为“自适应思考”的新方法，使大型语言模型能够动态决定是否需要执行链式思考推理。该方法利用自我一致性作为判断标准，当模型对简单问题已有高置信度答案时，会跳过显式推理步骤，直接生成最终答案。实验表明，在保持相同性能水平下，该方法在GSM8K和MATH基准测试上分别减少了20.3%和41.7%的推理计算量，实现了更高效的计算最优推理。
来源：Apple Machine Learning Research · machinelearning.apple.com