Hugging Face Blog·· 18 天前精选AI 评分84
Hugging Face Transformers 支持运行 llama.cpp GGUF 量化模型
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 宣布 transformers 现已支持高效运行 GGUF 格式的量化模型，用户可直接通过熟悉的 API 加载 Hub 上的检查点并在本地生成内容。
推荐理由
官方展示了在 transformers 中直接运行 GGUF 模型的完整路径与性能基准，为本地推理提供了新的工程选择。
来源：Hugging Face Blog · huggingface.co