Unsloth 让 Qwen3.8-Flash 本地推理提速 1.7 倍
Qwen3.8-Flash can now run 1.7× faster locally with MTP!⚡️ GGUFs can reach 170 tokens/s on a RTX PRO...
AI 导读Unsloth 通过 MTP（Multi-Token Prediction）让 Qwen3.8-Flash-Next 本地推理提速约 1.3 至 1.7 倍且精度不变，GGUF 在单张 RTX PRO 6000 上可达 170 tokens/s（基线 100 tokens/s）。
来源：Unsloth · x.com
事件后续1
查看事件全部- Unsloth 让 Qwen3.8-Flash 本地推理提速 1.7 倍Unsloth · 9 月 2 日