先了解这件事
vLLM 团队发布针对智能体负载优化的博客,基于 SemiAnalysis 的公开 AgentX 基准展示成果:DeepSeek V4 Pro 在 GB300 上达到 83K total tokens/GPU-秒。
最新进展
vLLM x AgentX:面向真实世界智能体推理服务的全栈优化
事件进展1
vLLM 在 SemiAnalysis AgentX 基准上报告 DeepSeek V4 Pro、MiniMax M3、Kimi K3 的吞吐量、P90 交互性及相对 Opus 5 的服务成本优势结果
vLLM 官方博客:vLLM x AgentX:面向真实世界智能体推理服务的全栈优化