先了解这件事
Unsloth 通过 MTP(Multi-Token Prediction)让 Qwen3.8-Flash-Next 本地推理提速约 1.3 至 1.7 倍且精度不变,GGUF 在单张 RTX PRO 6000 上可达 170 tokens/s(基线 100 tokens/s)。
最新进展
Unsloth 让 Qwen3.8-Flash 本地推理提速 1.7 倍
事件进展1
Qwen3.8-Flash现可借助MTP本地推理提速约1.3–1.7倍且精度不变,GGUF在RTX PRO 6000上可达170 tokens/s
Unsloth:Unsloth 让 Qwen3.8-Flash 本地推理提速 1.7 倍