IDEA Prune：生成式语言模型预训练中的集成放大-剪枝流程
IDEA Prune: An Integrated Enlarge-and-Prune Pipeline in Generative Language Model Pretraining
AI 导读Apple 研究团队提出 IDEA Prune，将放大模型预训练纳入结构化剪枝流程，形成集成式 enlarge-and-prune 管线。该研究探讨两个关键问题：即使放大模型从不部署，预训练它是否值得；以及如何优化该流程以提升 token 效率。相比从头训练目标尺寸模型，该流程在有限推理预算下展现出更高的 token 效率。
来源：Apple Machine Learning Research · machinelearning.apple.com