SGLang 推出 Weight Cache Daemon，实现亚秒级引擎重启
Blog Fast Engine Recovery: Sub-Second Engine Restart for SGLang via Weight Cache Daemon Nowadays, State-of-the-Art (SOTA) models are getting much bigger and reloading the model service after a crash is very expensive. Therefore, we are introducing the Weight Cache Daemon, a persistent GP... Ant Ling Infra Team (Ant Group), Alibaba, SGLang Team
AI 导读SGLang 团队推出 Weight Cache Daemon，通过 CUDA IPC 零拷贝映射将模型权重加载从约 495 秒降至约 0.63 秒（约 785 倍加速），端到端启动时间减少 93.9%。该守护进程在 GPU 内存中持久化后量化权重，支持多实例共享和亚秒级主备切换，是 Fast Engine Recovery Framework 的第一阶段。
另有 1 家信源报道
- 蚂蚁百灵为SGLang推出权重缓存守护进程蚂蚁百灵 · 8 月 22 日
来源：LMSYS Blog · lmsys.org
事件后续1
查看事件全部- 蚂蚁百灵为SGLang推出权重缓存守护进程蚂蚁百灵 · 8 月 22 日