热点榜
热点事件已平息

vLLM 发布原生 RL API:四阶段权重同步 API(NCCL/IPC 可插拔后端)、异步 RL 暂停/恢复新增 keep 模式、两阶段协议修复 DPEP 部署死锁

1 篇报道1 个报道来源5 月 28 日更新

先了解这件事

vLLM 引入原生权重同步 API,将 RL 训练器到推理引擎的权重传输标准化为初始化、开始、更新、结束四阶段,采用可插拔 WeightTransferEngine 抽象,目前支持 NCCL 和 IPC 两种后端并支持 packed tensor 优化。

最新进展

vLLM 推出原生 RL 权重同步 API 并修复异步 RL 死锁

事件进展1

  1. vLLM 发布原生 RL API:四阶段权重同步 API(NCCL/IPC 可插拔后端)、异步 RL 暂停/恢复新增 keep 模式、两阶段协议修复 DPEP 部署死锁

    vLLM 官方博客:vLLM 推出原生 RL 权重同步 API 并修复异步 RL 死锁

看完资讯,聊聊你的企业

一对一,30 分钟让你的企业用 AI 推动起来。

WECHAT

添加我的微信

长按或选中下方微信号复制。