vLLM 发布对 Kimi K3 的高效 day-0 支持：支持推测解码、PD 分离、混合前缀缓存等生产特性，NVIDIA 与 AMD 启动即支持，TP16 单用户 118 tok/s、DSpark 下 370 tok/s

先了解这件事

vLLM 官方宣布 Day-0 支持 Kimi K3，这是一个 2.8 万亿参数的 MoE 模型（每 token 激活 896 专家中的 16 个），基于 Kimi Delta Attention 与 Attention Residuals，支持 1M token 上下文窗口和原生视觉。