这张显卡，
到底能跑多大模型？

在 Q4_K_M、4K 上下文下约 5.1 GB —— 权重 4.2 GB、KV 缓存 0.5 GB、激活缓冲 0.5 GB，以 WizardLM-2 7B（7B）实算。本索引中每一张 8 GB 显卡都能从容跑下，还有余量。这个数字随上下文增长，而不是随你用得多不多：同一个文件在 32K 下约需 9.0 GB，因为 KV 缓存涨到了 4.0 GB。

在 4-bit、短上下文下可以 —— Mistral Small 24B Instruct 在 AWQ INT4 下约需 16 GB 中的 13.2 GB，还剩 2.8 GB。档位比参数量更关键：同一个模型在 Q4_K_M 下是 15.9 GB，占这张卡的 99% —— 在显卡完全空闲时能加载，但没有余量留给更长的窗口。16 GB 显卡能从容运行本索引 90 个模型中的 56 个。

在 Q4_K_M 下，本站有公开困惑度数据的 79 个模型，损失中位数为 2.9% —— 即保留 97.1% —— 区间从 1.4% 到 5.2%。有两点比中位数更重要：同一档位下，小模型掉得比大模型多；而且困惑度衡量的是语言建模能力，不等于「它还能不能做好你的任务」。没有公开数据的模型在本站显示为短横线，而不是当作零损失。

除非你是在跑服务端，否则选 GGUF。GGUF 什么硬件都能跑 —— CPU、NVIDIA、AMD、Apple —— 本站 90 个模型中有 90 个提供它，而 AWQ 是 53 个。AWQ 的价值在于用 vLLM 做批量请求时的吞吐，适用于 NVIDIA 显卡或 vLLM ROCm 版本支持的 Radeon 显卡；如果只是你一个人和一个模型对话，它给不了 GGUF 给不了的东西。本站有 53 个模型同时提供两种格式，那也是唯一能在同一份权重上比较它们的集合。