先了解这件事
2026 年 8 月 27 日,Unsloth 在 X 上发布 GLM-5.3-Flash(ox-alpha)的 GGUF 量化版本,称可在 128GB RAM 设备上以 3-bit 运行。据该来源,GLM-5.3-Flash 是 Z.ai 的 320B-A18B 开源多模态模型,以 MIT License 发布,原文称其在 DeepSWE、编码和智能体基准上媲美 Claude Opus 4.8。
2026 年 9 月 4 日,Unsloth 再次在 X 上宣布,通过优化解码并新增 MTP 支持,GLM-5.3-Flash 的本地 GGUF 推理提速 1.6 至 3.4 倍,长上下文下最高达 3.3 倍。
两篇报道均来自 Unsloth 官方账号,属同一事实的主报道与跟进报道。需注意,上述性能对比与提速幅度均为该来源自述,报道本身未提供独立验证;128GB RAM 与 3-bit 的运行条件仅对应首篇报道所述的量化版本,提速数据仅对应后续报道所述的优化方案。
AI 根据报道生成 · 12 天前更新最新进展
Unsloth 让 GLM-5.3-Flash 本地推理提速最高 3.3 倍并发布 GGUF
事件进展2
GLM-5.3-Flash本地GGUF推理经优化解码及多token预测提速1.6–3.4倍,3-bit可在128GB配置运行
Unsloth:Unsloth 让 GLM-5.3-Flash 本地推理提速最高 3.3 倍并发布 GGUFGLM-5.3-Flash 现可通过 Unsloth GGUF 在本地运行(3-bit 需 128GB 内存),作者称其性能媲美 Claude Opus 4.8
Unsloth:Unsloth 发布 GLM-5.3-Flash GGUF 量化版本地运行方案