Hugging Face 详解 LLM.int8() 8 位量化在 transformers 中的集成与使用
A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes
AI 导读Hugging Face 与 bitsandbytes 合作，将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库，使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。
来源：Hugging Face 社区博客 · huggingface.co