腾讯开源 AngelSpec:面向推测解码草稿模型的统一训练框架
Tencent Open-Sources AngelSpec: A Unified Training Framework for MTP and Block-Parallel Speculative Decoding on Hy3 Models
AI 导读腾讯开源了 AngelSpec,一个面向推测解码草稿模型的 torch-native 训练框架,支持自回归多 token 预测(MTP)与块并行 DFlash 系列。该框架针对工作负载异构性设计,提供 MTP 与块扩散两种互补草稿模型。在 Hy3-A21B 模型上,块扩散架构 DFly 的平均接受长度达 4.79,相比 DFlash 的 3.69 提升 29.8%。
另有 1 家信源报道
- 腾讯混元开源 AngelSpec 投机解码框架腾讯混元 · 7 月 29 日
来源:MarkTechPost · marktechpost.com
事件后续1
查看事件全部- 腾讯混元开源 AngelSpec 投机解码框架腾讯混元 · 7 月 29 日