Baseten用Claude Code自动构建推理引擎

先了解这件事

2026年10月3日，Baseten工程博客发布工程师实测：团队参考MetaInfer论文，让Claude Code（Fable 5）为Qwen-3.6-35B-A3B（NVFP4，单张B200）自动构建推理引擎VibeQwen。据该博客称，VibeQwen单流解码比vLLM 0.25.1快最多90%，首token从28ms降至12ms，并发32时吞吐高71%。上述数据均来自Baseten一方，为特定模型、量化格式与单张B200配置下的对比结果，尚待独立验证。该事件目前仅此一篇一手报道，此前版本标题为“Baseten分享使用Claude Code优化推理引擎的工程实践”，本次新增的是具体性能数字与实验配置。