跳转到主要内容

基准测试与洞察

数据说话,拒绝炒作 — 真实硬件实测

下面每一行数据都产自本页描述的那台机器,不是从别处收集来的。这也意味着覆盖面很窄:在 GPU 索引的 105 张卡里,实测覆盖了 4 张,共 16 次运行。本站任何没有实测的数字都会标注为「预估」——而这一页,就是所有实测数字唯一的来源。

本页基准数据采用 CC BY 4.0 许可——可以自由复用,注明出处并链接到 quantized.uk 即可。 整个索引也以 JSON 形式公开(模型与显卡)。

同样的数据,以文本呈现

图表由 SVG 路径绘制,其中的数字并不是可读文本。下面两张表提供相同的数据。

未记录确切的测试日期。所示日期为该结果首次发布的日期,即测试日期的上限。

哪些有实测,哪些没有

仅有预估

索引里剩下的 105 张卡。它们的数字来自和显存计算器同一套公式,按公开的显存带宽换算得出——不是另一套隐藏的实测数据。

完全没覆盖

  • 双 RTX 3090 指南之外的多卡吞吐
  • 大于 1 的 batch size
  • 与生成速度分开的提示词处理(prefill)速度
  • 困惑度以外的任何质量指标

硬件 × 格式矩阵

多模型真实硬件速度与显存 — 可比量化级别横向对照

硬件 × 格式矩阵 — 多模型真实硬件速度与显存 — 可比量化级别横向对照
模型硬件框架量化级别速度 (tok/s)显存用量备注
Llama 3.1 8BRTX 4090 24GExLlamaV2 0.2.1测于 2026-06-24 或之前EXL2 4.65bpw2355.4 GB消费级最快
Llama 3.1 8BRTX 4090 24GvLLM v0.6.3测于 2026-06-24 或之前AWQ INT42184.9 GB批量 API 服务最佳
Llama 3.1 8BRTX 4090 24Gllama.cpp b4217测于 2026-06-24 或之前GGUF Q4_K_M1485.7 GB部署最简单
Qwen2.5 7BRTX 4090 24Gllama.cpp b4217测于 2026-06-25 或之前GGUF Q4_K_M1555.4 GB代码能力强;显存占用接近 8B
DeepSeek-R1 14BRTX 4090 24GExLlamaV2 0.2.1测于 2026-06-25 或之前EXL2 4.65bpw1289.8 GB推理蒸馏版;2026 年热门
Qwen2.5 32BRTX 4090 24Gllama.cpp b4217测于 2026-06-25 或之前GGUF Q4_K_M4422 GB4K 上下文下勉强装下;想留余量用 Q3
Qwen3 8BRTX 4090 24Gllama.cpp b4217测于 2026-06-25 或之前GGUF Q4_K_M1425.8 GBQwen3 思考模式;2026 年 8B 旗舰
Qwen3 14BRTX 4090 24GExLlamaV2 0.2.1测于 2026-06-25 或之前EXL2 4.65bpw11810 GB推理能力强;16GB 以上的甜点位
Qwen3 32BRTX 4090 24Gllama.cpp b4217测于 2026-06-25 或之前GGUF Q4_K_M4222.5 GBQwen2.5-32B 的稠密 32B 后继
Qwen3 30B-A3BRTX 4090 24Gllama.cpp b4217测于 2026-06-25 或之前GGUF Q4_K_M9519 GBMoE 激活 3B —— 16GB 显卡上很快
R1-Distill-Llama-8BRTX 4090 24Gllama.cpp b4217测于 2026-07-22 或之前GGUF Q4_K_M1455.6 GB8B 体量上的 R1 推理能力
Phi-4 14BRTX 4090 24Gllama.cpp b4217测于 2026-07-22 或之前GGUF Q4_K_M889.1 GB稠密 14B 表现强;短上下文下 12GB 可跑
Qwen3-Coder 30B-A3BRTX 4090 24Gllama.cpp b4217测于 2026-07-22 或之前GGUF Q4_K_M9219.2 GB面向 agent 编码的 MoE;原生 256K 上下文
Llama 3.1 8BRTX 3090 24GExLlamaV2 0.2.1测于 2026-06-24 或之前EXL2 4.65bpw1755.4 GB较旧但依然可用
Llama 3.1 8BM3 Max 48GOllama 0.3.14测于 2026-06-24 或之前GGUF Q4_K_M685.7 GB统一内存优势
Llama 3.1 8BM2 Ultra 192GOllama 0.3.14测于 2026-06-24 或之前GGUF Q4_K_M905.7 GB单卡即可跑 70B

本站怎样才算"实测"

下表每一行都符合这些规则。最后一条由构建强制检查:不通过的行无法上线。

  1. 一次只跑一个序列(batch 1):128 token 的提示词,生成 128 token,上下文 4096 token。
  2. 每次运行都记录运行时及其版本,列在下方「测试方法」里。
  3. 显存记录的是生成过程中的峰值,包含运行时自身的开销。
  4. 每个稠密模型的成绩都要对照显卡的带宽上限检查。每生成一个 token 都要把全部权重读一遍,所以"带宽 ÷ 权重大小"是硬上限;超出这个数 15% 以上的成绩会被剔除。此前有三行 RTX 4060 Ti 的数据就是因此删掉的。
  5. 混合专家(MoE)模型每个 token 只读激活的专家,所以不按稠密模型的上限检查。
  6. 站内其他不出自本页的数字,都标注为"估算"。

这些成绩缺少的东西:原始测试输出和完整启动参数当时没有保存。今后的新成绩,包括你提交的,都必须附原始输出。

实测显存与计算器估算对照

每一行旁边是计算器对同一模型、同一档位、同样 4096 token 上下文给出的估算。这能说明本站自己的估算可信到什么程度。

在本索引能计算的 16 次运行里,估算与实测差距的中位数是 0.1 GB。差距最大的是 Phi-4 14B:计算器估算 10.2 GB,实测 9.1 GB。

实测显存与计算器估算对照
模型显卡档位实测显存计算器估算差值tok/s上限(占比)
Llama 3.1 8BRTX 4090EXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-24 或之前5.4 GB5.4 GB0.0235228 (103%)
Llama 3.1 8BRTX 4090AWQ INT4vLLM v0.6.3测于 2026-06-24 或之前4.9 GB4.8 GB−0.2218265 (82%)
Llama 3.1 8BRTX 4090GGUF Q4_K_Mllama.cpp b4217测于 2026-06-24 或之前5.7 GB5.6 GB−0.1148218 (68%)
Qwen2.5 7BRTX 4090GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前5.4 GB5.1 GB−0.3155230 (67%)
DeepSeek-R1 14BRTX 4090EXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-25 或之前9.8 GB9.8 GB−0.1128124 (103%)
Qwen2.5 32BRTX 4090GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前22.0 GB21.7 GB−0.34454 (81%)
Qwen3 8BRTX 4090GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前5.8 GB5.8 GB0.0142214 (66%)
Qwen3 14BRTX 4090EXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-25 或之前10.0 GB9.7 GB−0.3118124 (95%)
Qwen3 32BRTX 4090GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前22.5 GB21.9 GB−0.64253 (79%)
Qwen3 30B-A3BRTX 4090GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前19.0 GB19.7 GB+0.795—
R1-Distill-Llama-8BRTX 4090GGUF Q4_K_Mllama.cpp b4217测于 2026-07-22 或之前5.6 GB5.6 GB0.0145218 (67%)
Phi-4 14BRTX 4090GGUF Q4_K_Mllama.cpp b4217测于 2026-07-22 或之前9.1 GB10.2 GB+1.188119 (74%)
Qwen3-Coder 30B-A3BRTX 4090GGUF Q4_K_Mllama.cpp b4217测于 2026-07-22 或之前19.2 GB19.8 GB+0.692—
Llama 3.1 8BRTX 3090EXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-24 或之前5.4 GB5.4 GB0.0175211 (83%)
Llama 3.1 8BMac M3 Max 48GGGUF Q4_K_MOllama 0.3.14测于 2026-06-24 或之前5.7 GB5.6 GB−0.16887 (78%)
Llama 3.1 8BMac M2 Ultra 192GGGUF Q4_K_MOllama 0.3.14测于 2026-06-24 或之前5.7 GB5.6 GB−0.190173 (52%)

上限一列就是显卡页面引用的那个数。它用十进制 GB/s 除以二进制 GiB 的权重大小,所以偏低约 7%——这就是为什么有的成绩会略高于 100%。混合专家模型的行不显示上限。

提交你自己显卡的成绩

本页目前只有 4 张卡的实测。如果你的卡不在其中——尤其是 16 到 24 GB 的显卡——一次运行就能补上空白。成绩必须能被核对才能收录,所以请严格运行下面这条命令:

llama-bench -m <model-file>.gguf -p 512 -n 128 -ngl 99
  • 完整、未经修改的输出——里面有 build 行和 pp512 / tg128 表格。
  • 准确的 GGUF 文件名,以及下载它的仓库。
  • 你的显卡(或 Mac 芯片与内存)、驱动版本和操作系统。
  • 运行时没有其他程序占用显卡。

它会像上面每一行一样对照你显卡的带宽上限检查。llama-bench 的 tg128 是从空上下文开始生成的,和上面的方法接近但不完全相同,所以读者提交的成绩会单独标注。我们只公开显卡型号,绝不公开你的名字或邮箱。

将打开的邮件内容(你补充之前):

主题: quantized.uk 实测成绩提交

显卡 / 芯片与内存:
驱动与操作系统:
GGUF 文件:
下载仓库:

llama-bench 输出(未修改):
打开这封邮件

参考模型

Meta Llama 3.1 8B Instruct

PPL 数据集

WikiText-2

上下文

4096 tokens

批大小(Batch Size)

1

框架版本

llamacpp: b4217 (CUDA backend)exllama: ExLlamaV2 0.2.1vllm: v0.6.3ollama: 0.3.14

这些运行时的当前版本(2026-11-21 核对)

llamacpp: b12409vllm: v0.34.0ollama: v0.40.17exllama: v0.3.2 (stalled)

llama.cpp 稳定版为 v1.0.0(nightly-tag.txt 指向 b12359);Windows 命令保留此前已核实的 b12409。较新的 b12606 标记为预发布,本次稳定版核查不采用。vLLM 0.34 默认启用可扩展 KV 缓存,块大小改为 64;本站生成命令已显式设置显存利用率 0.85。本页的数字是在左列那套软件栈上测得的。这些版本如今已明显落后于当前版本 —— 速度尤其会随运行时变化,因此请把它们当作格式之间的排序参考,而不是你今天会跑出的数值。这个对比说明不了的一件事:ExLlamaV2 自 2025-07 起再没有发布过新版本,维护者的主要精力已经转到另一个仓库 ExLlamaV3(截至上面的日期已到 v1.6.7,更新很勤)。它自己的 README 说得很清楚,这是一个全新的量化格式 EXL3,而不是 EXL2 的版本升级——本索引目前还没有任何模型提供这个格式,所以暂不收录,但本站在跟踪的一个格式陷入停滞,这件事本身值得让读者知道。

速度测试:prompt_len=128,gen_len=128,单序列。PPL 在 WikiText-2 测试集上测量。实际结果因驱动、batch size 和上下文长度可能偏差 ±10%。

吞吐量

提示词长度
128 tokens
生成长度
128 tokens
测量方式(采样次数、取均值还是中位数、是否预热)
未记录
记录口径
生成阶段的 tok/s,不含提示词处理

困惑度

FP16 基准困惑度
6.14
记录口径
相对基准保留的百分比

显存

测量工具
未记录
记录口径
生成过程中的峰值占用,含运行时开销

测试硬件

NVIDIA 显卡:NVIDIA 550.x / CUDA 12.4。Apple 显卡:不涉及 CUDA / 驱动栈——走各框架自己的 Metal 后端。

每台机器的 CPU / 系统内存 / 操作系统
未记录
记录的测试时间范围
未记录
最近一次重新测试
未记录

数据来源: RTX 4090 / 3090 / M3 Max / M2 Ultra 本地实测;llama.cpp b4217、ExLlamaV2 0.2.1、vLLM v0.6.3、Ollama 0.3.14