返回精选
vLLM 官方博客Giancarlo Delfin (Inferact)2026-10-14 08:001 天前

vLLM 推出无需置信头的在线拟合接受估计器,让 EAGLE、MTP 等草稿模型可用 Adaptive Verification

Adaptive Verification Without a Confidence Head

AI 导读

vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型,通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率,作为 Adaptive Verification 的置信分。

来源:vLLM 官方博客 · vllm.ai

事件后续1

查看事件全部

看完资讯,聊聊你的企业

一对一,30 分钟让你的企业用 AI 推动起来。

WECHAT

添加我的微信

长按或选中下方微信号复制。