热点榜
热点事件观察中

vLLM 为无置信头草稿模型推出自适应验证

1 篇报道1 个报道来源1 天前更新

先了解这件事

vLLM 官方博客称,其置信度评分现已支持所有基于草稿模型的投机类型。对于没有置信头的草稿模型,vLLM 引入一个在线拟合的接受估计器:从草稿模型的 logits 中提取 logit(q_max) 特征,预测目标模型接受该草稿 token 的概率,并直接作为 Adaptive Verification 的置信分。

这意味着 EAGLE、MTP 等原本缺少置信头的草稿模型,也能使用自适应验证,而不必依赖模型自带置信头。

AI 根据报道生成 · 5 小时前更新

最新进展

vLLM 推出无需置信头的在线拟合接受估计器,让 EAGLE、MTP 等草稿模型可用 Adaptive Verification

热度走势

事件进展1

  1. vLLM 支持无置信头模型的自适应验证

    vLLM 官方博客:vLLM 推出无需置信头的在线拟合接受估计器,让 EAGLE、MTP 等草稿模型可用 Adaptive Verification

看完资讯,聊聊你的企业

一对一,30 分钟让你的企业用 AI 推动起来。

WECHAT

添加我的微信

长按或选中下方微信号复制。