热点榜
热点事件已平息

小红书与北京大学发布 UltraEP

1 篇报道1 个报道来源7 月 20 日更新

先了解这件事

小红书与北大提出 UltraEP,首次将基于精确路由信息的实时负载均衡引入生产系统,在每个 microbatch 和每一层动态复制热点专家。在 Qwen3-235B 等模型上,训练吞吐平均达到理想性能的 94.6%,相比 Megatron-LM 提升 42%;推理 prefill 吞吐相比 SGLang 提升 1.56 倍。

最新进展

小红书与北大开源 UltraEP:面向大规模 MoE 训推的实时负载均衡方案

事件进展1

  1. 小红书与北京大学发布 UltraEP

    公众号:小红书技术:小红书与北大开源 UltraEP:面向大规模 MoE 训推的实时负载均衡方案

看完资讯,聊聊你的企业

一对一,30 分钟让你的企业用 AI 推动起来。

WECHAT

添加我的微信

长按或选中下方微信号复制。