LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化，8×B300 单 batch 解码超 500 TPS
Blog Serving GLM5.2 NVFP4 Agentic Workload with SGLang: Reaching 500 TPS in 2 Weeks - More than 500 TPS on 8xB300 (bs=1) - Sync free speculative decoding for GLM 5.2 MTP - Built-in IndexShare MTP with Spec V2 - 2.33x faster TopK-V2 for ISL 80k - Indexer prologue fusion - Gemm kernels... SGLang Team
AI 导读LMSYS 与 SGLang 团队针对智谱 GLM-5.2 NVFP4 模型在 Grace Blackwell 硬件上推出多项优化。运行时方面，Spec V2 重叠调度消除 GPU 气泡，端到端 TPS 提升 11%；IndexShare MTP 在 draft 步骤间复用 DSA indexer 的 top-k，长上下文下 draft 步骤成本降低约 1.9 倍。内核方面，TopK-V2 将 TopK 视为选择问题，80K ISL 下平均延迟从 40.7 µs 降至 17.5 µs（2.33× 加速），1M ISL 下从 372.1 µs 降至 36.6 µs（10.17× 加速）。优化后 8×B300 单 batch 解码吞吐超过 500 TPS。
来源：LMSYS Blog · lmsys.org