热点榜
热点事件已平息

transformers 支持直接加载 GGUF 量化模型

1 篇报道1 个报道来源23 天前更新

先了解这件事

Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型,通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint,并复用 ggml 的 Metal 内核。

最新进展

transformers 支持直接加载 GGUF 量化模型,本地推理性能接近 llama.cpp

事件进展1

  1. transformers 支持直接加载 GGUF 量化模型,本地推理性能接近 llama.cpp

    Hugging Face 社区博客:transformers 支持直接加载 GGUF 量化模型,本地推理性能接近 llama.cpp

看完资讯,聊聊你的企业

一对一,30 分钟让你的企业用 AI 推动起来。

WECHAT

添加我的微信

长按或选中下方微信号复制。