GGUF 与 GPTQ 该选哪个量化格式？
从硬件支持、运行时、质量，以及 110 个模型的索引中实际提供的情况来对比。
速览
| GGUF | GPTQ | |
|---|---|---|
| 可运行于 | 任意硬件 —— CPU / NVIDIA / AMD / Apple | NVIDIA 显卡（CUDA），或通过 vLLM ROCm 使用 AMD |
| 运行时 | llama.cpp · Ollama | GPTQModel · vLLM · TGI |
| 最适合 | 本地 / 端侧部署 | 既有服务端部署 |
| 本索引中的模型数 | 110 / 110 | 4 / 110 |
GGUF
最通用的量化格式，CPU、GPU、苹果芯片全兼容。支持跨内存和显存混合推理。
优势
- 兼容任意硬件
- CPU+GPU 混合推理
- 生态最完善
- 上手极简
取舍
- 慢于 GPU 原生格式
- 高并发场景非最优
GPTQ
最早普及的训练后量化方法之一，框架兼容性广。它原本的工具 AutoGPTQ 已停止维护，README 推荐改用 GPTQModel。本索引里没有任何模型同时提供 GPTQ 和 AWQ 版本，所以本站没有可配对的数据来判断哪个质量损失更小。
优势
- 框架兼容性广
- 生态成熟
- 支持 HF Transformers
取舍
- 量化过程较慢
- AutoGPTQ 已停止维护（由 GPTQModel 接替）
两种格式都提供的模型
这 4 个模型同时发布了两种格式的权重，因此两行描述的是同一个模型而非两个不同模型 —— 这是本对比中唯一可测量、而非编辑判断的部分。
| 模型 | GGUF 档位 | 质量损失 | GPTQ 档位 | 质量损失 |
|---|---|---|---|---|
| Command R 35B | Q4_K_M | 3% | GPTQ INT4 | 4.5% |
| StarCoder2 15B | Q4_K_M | 3.2% | GPTQ INT4 | 4.8% |
| Falcon 3 10B Instruct | Q4_K_M | 3.1% | GPTQ INT4 | 4.8% |
| Granite 3.1 8B Instruct | Q4_K_M | 3% | GPTQ INT4 | 4.5% |
质量损失是相对未量化权重的困惑度上升 —— 越低越好，且只在同一模型内部可比。
AWQ vs GPTQ, EXL2 vs GPTQ
这两个对比都无从比起。本索引的 110 个模型中，有 4 个提供 GPTQ，而其中没有任何一个同时提供 AWQ 或 EXL2。对某个具体模型来说，你其实从来不需要在 GPTQ 与 AWQ 或 EXL2 之间做选择；你选的是「有 GPTQ 版本的那个模型」还是「有另一种格式的另一个模型」。
如果你还是想要一个结论：两种情况下都选 AWQ。它在量化时掌握激活分布，会保护那一小部分最关键的权重通道，并且在 vLLM 与 TGI 中都是一等公民 —— 而服务端格式的吞吐优势正是在这里体现的。EXL2 是另一个仍在活跃的选项，它的可变位宽让你把比特花在真正需要的层上，而不是全局用同一个档位；在单张 NVIDIA 显卡配 ExLlamaV2 的场景下它更强。GPTQ 出现得最早，今天依然能用，但它更多是在维护而非发展，本索引的收录情况也反映了这一点。