AWQ 与 EXL2 该选哪个量化格式？
从硬件支持、运行时、质量，以及 110 个模型的索引中实际提供的情况来对比。
速览
| AWQ | EXL2 | |
|---|---|---|
| 可运行于 | NVIDIA 显卡（CUDA 11.8+），或通过 vLLM ROCm 使用 AMD | NVIDIA 显卡（推荐 Ampere 及更新架构） |
| 运行时 | vLLM · AutoAWQ · TGI | ExLlamaV2 |
| 最适合 | 高吞吐 API 服务端 | NVIDIA 单卡本地对话 |
| 本索引中的模型数 | 53 / 110 | 21 / 110 |
AWQ
激活感知权重量化：在掌握激活统计的前提下把权重量化到 4-bit，主要由 vLLM 在 NVIDIA 以及 vLLM ROCm 版本支持的 AMD 显卡上运行。在本索引中同时提供两者的每一个模型上，AWQ INT4 文件都比 GGUF Q4_K_M 小（中位数小 18%），公布的质量损失则更高（中位数多 1.1 个百分点）。大多数 AWQ 版本所用的 AutoAWQ 已被弃用，改由 vLLM 的 llm-compressor 接替；已有的 AWQ 权重仍可正常加载。
优势
- 在本站每个可配对模型上都比 GGUF Q4_K_M 小
- 由 vLLM 以连续批处理方式提供服务
- 实测 218 tok/s（Llama 3.1 8B，RTX 4090，vLLM）
取舍
- 在本站每个可配对模型上公布的损失都高于 Q4_K_M
- 只能用 GPU —— 没有 CPU 或 Apple 路径
- AutoAWQ 已弃用（由 llm-compressor 接替）
EXL2
ExLlamaV2 格式，每层独立混合精度量化，每比特精度很高；按本站自己的实测，它是跑过的格式里单卡速度最快的。不过 ExLlamaV2 本身已经归档 —— 开发转到了 ExLlamaV3 及其新的 EXL3 格式 —— 以前能加载 EXL2 的服务端（TabbyAPI、text-generation-webui）现在加载的是 EXL3，所以 EXL2 仍能通过 ExLlamaV2 自带的脚本在本机运行，但已经没有仍在维护的 API 服务端。
优势
- 本站实测单卡最快的格式
- 每比特精度高
- 超低 2bpw 选项
取舍
- 仅限 NVIDIA
- 运行时已归档 —— 没有仍在维护的 API 服务端
- 学习曲线较陡
两种格式都提供的模型
这 16 个模型同时发布了两种格式的权重，因此两行描述的是同一个模型而非两个不同模型 —— 这是本对比中唯一可测量、而非编辑判断的部分。
| 模型 | AWQ 档位 | 质量损失 | EXL2 档位 | 质量损失 |
|---|---|---|---|---|
| Qwen2.5 72B Instruct | AWQ INT4 | 3.5% | EXL2 3.5bpw | 4.8% |
| Llama 3.1 70B Instruct | AWQ INT4 | 3.9% | EXL2 3.5bpw | 5.2% |
| Qwen3 32B Instruct | AWQ INT4 | 3.6% | EXL2 3.5bpw | 4.5% |
| Qwen2.5-Coder 32B Instruct | AWQ INT4 | 3.5% | EXL2 3.5bpw | 4.5% |
| Mistral Small 24B Instruct | AWQ INT4 | 3.8% | EXL2 4.65bpw | 2.2% |
| Devstral Small 1.1 24B | AWQ INT4 | 4% | EXL2 4.65bpw | 2.5% |
| Magistral Small 1.2 24B | AWQ INT4 | 4% | EXL2 4.65bpw | 2.5% |
| Qwen3 14B Instruct | AWQ INT4 | 3.5% | EXL2 4.65bpw | 1.8% |
| Qwen2.5 14B Instruct | AWQ INT4 | 3.8% | EXL2 4.65bpw | 2.1% |
| DeepSeek-R1-Distill-Qwen-14B | AWQ INT4 | 3.6% | EXL2 4.65bpw | 2% |
| Qwen3 8B Instruct | AWQ INT4 | 3.8% | EXL2 4.65bpw | 2% |
| Llama 3.1 8B Instruct | AWQ INT4 | 4.5% | EXL2 4.65bpw | 2.5% |
| DeepSeek-R1-Distill-Llama-8B | AWQ INT4 | 3.5% | EXL2 4.65bpw | 1.9% |
| Qwen2.5 7B Instruct | AWQ INT4 | 4.2% | EXL2 4.65bpw | 2.2% |
| Qwen2.5-Coder 7B Instruct | AWQ INT4 | 4% | EXL2 4.65bpw | 2% |
| Qwen3 4B Instruct | AWQ INT4 | 3.8% | EXL2 4.65bpw | 2.1% |
质量损失是相对未量化权重的困惑度上升 —— 越低越好，且只在同一模型内部可比。