先了解这件事
SGLang 将 SSD-LLaMA 的思路引入 MoE 推理，把放不进显存和内存的路由专家放在 NVMe SSD 上，通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存，只加载 router 选中的专家。
最新进展
SGLang 用 SSD Expert Pack 在消费级硬件上运行 DeepSeek-V4-Flash 和 Kimi-K3
事件进展1
SGLang团队与WiCi AI团队发布SSD Expert Pack功能：将SSD-LLaMA思路引入SGLang MoE推理，把路由专家置于NVMe SSD按需直接I/O加载，可在消费级硬件上运行DeepSeek-V4-Flash与Kimi-K3
LMSYS Blog：SGLang 用 SSD Expert Pack 在消费级硬件上运行 DeepSeek-V4-Flash 和 Kimi-K3