vLLM 推出原生 RL 权重同步 API 并修复异步 RL 死锁
Native RL APIs in vLLM
AI 导读vLLM 引入原生权重同步 API,将 RL 训练器到推理引擎的权重传输标准化为初始化、开始、更新、结束四阶段,采用可插拔 WeightTransferEngine 抽象,目前支持 NCCL 和 IPC 两种后端并支持 packed tensor 优化。
来源:vLLM 官方博客 · vllm.ai
事件后续1
查看事件全部- vLLM 推出原生 RL 权重同步 API 并修复异步 RL 死锁vLLM 官方博客 · 5 月 28 日