Cohere 详解 North Mini Code 的 megakernel 推理引擎，单 H100 上比 vLLM 快 1.25–1.41 倍
Inside the megakernel serving engine for North Mini Code
AI 导读Cohere 发布为 North Mini Code 构建的围绕 decode megakernel 的推理引擎，BF16 下单张 H100 端到端解码吞吐比 vLLM 快 1.25–1.41 倍，batch size 1 时达 292 tok/s（SoL 的 62%），代码已在 GitHub 开放。
来源：Cohere Labs：官方研究博客 · cohere.com