先了解这件事
vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持,该模型是基于 Qwen 3.5 架构的 2.4 万亿参数稀疏 MoE 模型,含 512 个专家,92 层混合骨干中每 4 层使用一次 full attention,其余 69 层为线性注意力。
最新进展
vLLM 提供 Qwen3.8-2.4T-A95B Day-0 支持
事件进展1
vLLM宣布对基于Qwen 3.5架构的Qwen3.8-2.4T-A95B提供Day-0支持,Inferact发布MXFP4/NVFP4量化权重并经初步验证精度保持
vLLM 官方博客:vLLM 提供 Qwen3.8-2.4T-A95B Day-0 支持