GGUF 与 AWQ 该选哪个量化格式？
从硬件支持、运行时、质量，以及 110 个模型的索引中实际提供的情况来对比。
速览
| GGUF | AWQ | |
|---|---|---|
| 可运行于 | 任意硬件 —— CPU / NVIDIA / AMD / Apple | NVIDIA 显卡（CUDA 11.8+），或通过 vLLM ROCm 使用 AMD |
| 运行时 | llama.cpp · Ollama | vLLM · AutoAWQ · TGI |
| 最适合 | 本地 / 端侧部署 | 高吞吐 API 服务端 |
| 本索引中的模型数 | 110 / 110 | 53 / 110 |
GGUF
最通用的量化格式，CPU、GPU、苹果芯片全兼容。支持跨内存和显存混合推理。
优势
- 兼容任意硬件
- CPU+GPU 混合推理
- 生态最完善
- 上手极简
取舍
- 慢于 GPU 原生格式
- 高并发场景非最优
AWQ
激活感知权重量化：在掌握激活统计的前提下把权重量化到 4-bit，主要由 vLLM 在 NVIDIA 以及 vLLM ROCm 版本支持的 AMD 显卡上运行。在本索引中同时提供两者的每一个模型上，AWQ INT4 文件都比 GGUF Q4_K_M 小（中位数小 18%），公布的质量损失则更高（中位数多 1.1 个百分点）。大多数 AWQ 版本所用的 AutoAWQ 已被弃用，改由 vLLM 的 llm-compressor 接替；已有的 AWQ 权重仍可正常加载。
优势
- 在本站每个可配对模型上都比 GGUF Q4_K_M 小
- 由 vLLM 以连续批处理方式提供服务
- 实测 218 tok/s（Llama 3.1 8B，RTX 4090，vLLM）
取舍
- 在本站每个可配对模型上公布的损失都高于 Q4_K_M
- 只能用 GPU —— 没有 CPU 或 Apple 路径
- AutoAWQ 已弃用（由 llm-compressor 接替）
两种格式都提供的模型
这 53 个模型同时发布了两种格式的权重，因此两行描述的是同一个模型而非两个不同模型 —— 这是本对比中唯一可测量、而非编辑判断的部分。
| 模型 | GGUF 档位 | 质量损失 | AWQ 档位 | 质量损失 |
|---|---|---|---|---|
| Llama 3.1 405B Instruct | Q4_K_M | 2.3% | AWQ INT4 | 3.5% |
| Qwen3 235B-A22B Instruct | Q4_K_M | 2.2% | AWQ INT4 | 3.2% |
| Llama 4 Scout 17B (16E) | Q4_K_M | 2.4% | AWQ INT4 | 3.2% |
| Qwen2.5 72B Instruct | Q5_K_M | 1.1% | AWQ INT4 | 3.5% |
| Llama 3.1 70B Instruct | Q5_K_M | 1.2% | AWQ INT4 | 3.9% |
| Llama 3.3 70B Instruct | Q5_K_M | 1% | AWQ INT4 | 3.7% |
| DeepSeek-R1-Distill-Llama-70B | Q4_K_M | 2.4% | AWQ INT4 | 3.5% |
| Jamba 1.5 Mini | Q4_K_M | 3.4% | AWQ INT4 | 4.8% |
| Mixtral 8x7B Instruct | Q4_K_M | 2.8% | AWQ INT4 | 3.8% |
| Seed-OSS 36B Instruct | Q5_K_M | 1.3% | AWQ INT4 | 3.8% |
| Yi 1.5 34B Chat | Q4_K_M | 2.8% | AWQ INT4 | 4% |
| Qwen3 32B Instruct | Q4_K_M | 2.5% | AWQ INT4 | 3.6% |
| Qwen2.5-Coder 32B Instruct | Q4_K_M | 2.5% | AWQ INT4 | 3.5% |
| Qwen3 30B-A3B Instruct | Q5_K_M | 1.1% | AWQ INT4 | 3.4% |
| Qwen3-Coder 30B-A3B Instruct | Q5_K_M | 1% | AWQ INT4 | 3.2% |
| Qwen3-VL 30B-A3B Instruct | Q8_0 | 0.3% | AWQ INT4 | 3.7% |
| Gemma 3 27B IT | Q4_K_M | 2.8% | AWQ INT4 | 3.8% |
| Gemma 2 27B Instruct | Q5_K_M | 1.3% | AWQ INT4 | 4% |
| Mistral Small 24B Instruct | Q4_K_M | 2.9% | AWQ INT4 | 3.8% |
| Devstral Small 1.1 24B | Q6_K | 0.6% | AWQ INT4 | 4% |
质量损失是相对未量化权重的困惑度上升 —— 越低越好，且只在同一模型内部可比。