GGUF 与 GPTQ 该选哪个量化格式？
从硬件支持、运行时、质量，以及 79 个模型的索引中实际提供的情况来对比。
速览
| GGUF | GPTQ | |
|---|---|---|
| 可运行于 | Any — CPU / NVIDIA / AMD / Apple | NVIDIA GPU (CUDA) |
| 运行时 | llama.cpp · Ollama | auto-gptq · vLLM · TGI |
| 最适合 | 本地 / 端侧部署 | 既有服务端部署 |
| 采用率估算 | 89% | 28% |
| 本索引中的模型数 | 79 / 79 | 4 / 79 |
GGUF
最通用的量化格式，CPU、GPU、苹果芯片全兼容。支持跨内存和显存混合推理。
优势
- 兼容任意硬件
- CPU+GPU 混合推理
- 生态最完善
- 上手极简
取舍
- 慢于 GPU 原生格式
- 高并发场景非最优
GPTQ
最早普及的训练后量化格式之一，框架兼容性广，新模型正逐渐被 AWQ 取代。
优势
- 框架兼容性广
- 生态成熟
- 支持 HF Transformers
取舍
- 量化过程较慢
- 精度低于 AWQ
两种格式都提供的模型
这 4 个模型同时发布了两种格式的权重，因此两行描述的是同一个模型而非两个不同模型 —— 这是本对比中唯一可测量、而非编辑判断的部分。
| 模型 | GGUF 档位 | 质量损失 | GPTQ 档位 | 质量损失 |
|---|---|---|---|---|
| Command R 35B | Q4_K_M | 3% | GPTQ INT4 | 4.5% |
| StarCoder2 15B | Q4_K_M | 3.2% | GPTQ INT4 | 4.8% |
| Falcon 3 10B Instruct | Q4_K_M | 3.1% | GPTQ INT4 | 4.8% |
| Granite 3.1 8B Instruct | Q4_K_M | 3% | GPTQ INT4 | 4.5% |
质量损失是相对未量化权重的困惑度上升 —— 越低越好，且只在同一模型内部可比。