量化格式对比

量化格式同时决定两件事：权重怎么存，以及哪个运行时读得懂。选错通常表现为文件下载完好、却怎么也加载不起来。下面列出每种格式是什么、谁能读它，以及 —— 因为本索引记录了每个模型的格式 —— 你有多大机会在这个格式下找到你想要的模型。

各格式在本索引中的实际覆盖

格式谁能读可运行于本站收录已公布损失中位数收录的档位
GGUFllama.cpp · Ollama任意硬件 —— CPU / NVIDIA / AMD / Apple110 / 1103.0%100 个样本的中位数Q4_K_M, Q8_0, Q5_K_M, Q3_K_M
AWQvLLM · AutoAWQ · TGINVIDIA 显卡（CUDA 11.8+），或通过 vLLM ROCm 使用 AMD53 / 1104.0%53 个样本的中位数INT4
EXL2ExLlamaV2NVIDIA 显卡（推荐 Ampere 及更新架构）21 / 1102.3%21 个样本的中位数4.65bpw, 3.5bpw
GPTQGPTQModel · vLLM · TGINVIDIA 显卡（CUDA），或通过 vLLM ROCm 使用 AMD4 / 1104.8%4 个样本的中位数INT4
HQQHQQ · bitsandbytesNVIDIA 显卡、AMD ROCm0 / 110无公开数据—

本索引中没有任何模型使用该格式。这里作为参考资料列出，而不是你能在模型库里找到的东西。

该选哪一个？

先看什么能读这个文件，而不是先看谁的分数高。用 Mac、用 CPU、用 AMD，或者你只是想让它跑起来 —— 答案是 GGUF：它是本索引中唯一能在所有硬件类别上运行的格式，110 个模型中有 110 个提供。如果你在 NVIDIA 上同时服务大量请求，vLLM 下的 AWQ 是批量吞吐的答案，共 53 个模型提供。如果你想在单张 NVIDIA 卡上获得最快的单路速度、又能接受更窄的模型选择，EXL2 覆盖 21 个。GPTQ 是较旧的 NVIDIA 路线，4 个模型 —— 同样的活 AWQ 或 EXL2 做得更好。质量一列是 4-bit 档位已公开困惑度损失的中位数，不是本站跑出来的基准；相差一两个百分点在「各模型量化方式不同」这一噪声之内。

两两对比

格式热度指数

编辑对常用程度的排序 —— 是判断，不是测得的占比

  1. 1GGUF
  2. 2AWQ
  3. 3EXL2
  4. 4GPTQ
  5. 5HQQ

依据 Hugging Face 上传与社区讨论更偏向哪种格式做出的编辑判断。它不是测量值，因此只给出排序、不给百分比 —— 上面每种格式的模型数才是实测的部分。