先了解这件事
vLLM 官方博客称,其置信度评分现已支持所有基于草稿模型的投机类型。对于没有置信头的草稿模型,vLLM 引入一个在线拟合的接受估计器:从草稿模型的 logits 中提取 logit(q_max) 特征,预测目标模型接受该草稿 token 的概率,并直接作为 Adaptive Verification 的置信分。
这意味着 EAGLE、MTP 等原本缺少置信头的草稿模型,也能使用自适应验证,而不必依赖模型自带置信头。
AI 根据报道生成 · 5 小时前更新最新进展
vLLM 推出无需置信头的在线拟合接受估计器,让 EAGLE、MTP 等草稿模型可用 Adaptive Verification
热度走势
事件进展1
vLLM 支持无置信头模型的自适应验证
vLLM 官方博客:vLLM 推出无需置信头的在线拟合接受估计器,让 EAGLE、MTP 等草稿模型可用 Adaptive Verification