Apple 提出 Length Value Model (LenVM):token 级长度建模框架
Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling
AI 导读Apple 研究团队提出 LenVM,一种在每步解码时预测剩余生成长度的 token 级框架,将长度建模转化为无需标注的价值估计问题。在 LIFEBench 精确长度匹配任务上,LenVM 将 7B 模型的长度分数从 30.9 提升至 64.8,超越前沿闭源模型;在 GSM8K 上以 200 token 预算维持 63% 准确率(基线仅 6%)。
来源:Apple Machine Learning Research · machinelearning.apple.com