该下载哪个量化版本？

推荐档位是怎么选出来的

模型发布的每个量化档位，都用显存计算器按 4K 上下文算出显存，再和显卡比较：不超过显存 88% 为绿色，最多到 105% 为黄色；这张卡的运行时读不了的格式，无论多大都排除。在绿色档位里，选最接近原模型的那一档：有公开困惑度增幅的，取增幅最小的；没有的，取每权重比特数最高的 —— 同一个模型，比特数越高越接近原版，这是在没有困惑度数据时数据唯一能支持的排序。这与计算器的"最佳选择"用的是同一条规则，所以两边永远一致。

这些档位名称是什么意思

数字大致是每个权重存储的比特数。GGUF 的 Q8_0 约 8.5 比特，Q6_K 约 6.6，Q5_K_M 约 5.7，Q4_K_M 约 4.9，Q3_K_M 约 3.9；文件大小随之等比缩小，比特数越低，困惑度增幅越大。AWQ INT4 和 GPTQ INT4 是由 vLLM 运行的 4 比特格式，通常比 Q4_K_M 略小。以原生低比特格式发布的模型（比如以 MXFP4 发布的 GPT-OSS）没有可供对比的全精度原版，所以发布的那一档本身就是基准。

常见问题

Q4 和 Q5 该选哪个？

如果在你需要的上下文长度下两档都是绿色，就选高的那档：它更接近原模型，多占的只是你本来就空着的显存。如果只有 Q4 是绿色，就选 Q4，而不要选偏紧的 Q5 —— 勉强能加载的档位没有上下文余量，运行时还可能把部分层挪到内存里，速度会慢得多。模型对两档都公布了困惑度的，它自己的页面上能看到差别。

为什么上下文开大后推荐档位会变？

权重大小不随上下文变化，但 KV 缓存会随上下文每多一个 token 而增长，并且和权重共用显存。4K 时是绿色的档位，到 32K 可能就变黄，推荐档位就会降一档来腾出空间。上下文长度页面列出了每个推荐档位能开到多长；计算器会按你设置的上下文重新选档。

为什么有些卡推荐的是 AWQ？Windows 上能用吗？

AWQ INT4 每一层都存成 4 比特，所以比 GGUF 的 Q4_K_M 更小，有时是唯一能从容装进这张卡的档位。它要用 vLLM 运行，需要 Linux 或 WSL2 —— Windows 原生的 Ollama 和 LM Studio 只能加载 GGUF。如果你是这种环境，就选表里最好的 GGUF 档位，即使它是黄色，也把上下文开短一些。