统一 Radix 缓存：为混合模型前缀缓存构建单一树结构
Blog Unified Radix Cache: One Tree for Hybrid Model Prefix Caching Prefix caching reuses KV when requests share the same token prefix. Under full attention, once the KV for a shared prefix is computed, it remains valid as more tokens are appended. A later request wit... Zhangheng Huang, Ke Bao, Yi Zhang, Jialin Ouyang, Sicheng Pan
AI 导读LMSYS 团队提出 Unified Radix Cache，用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存，各组件独立执行路径、滑动窗口和检查点复用语义。
来源：LMSYS Blog · lmsys.org
事件后续1
查看事件全部- 统一 Radix 缓存：为混合模型前缀缓存构建单一树结构LMSYS Blog · 8 月 11 日