基准测试与洞察
数据说话,拒绝炒作 — 真实硬件实测
下面每一行数据都产自本页描述的那台机器,不是从别处收集来的。这也意味着覆盖面很窄:在 GPU 索引的 105 张卡里,实测覆盖了 4 张,共 16 次运行。本站任何没有实测的数字都会标注为「预估」——而这一页,就是所有实测数字唯一的来源。
本页基准数据采用 CC BY 4.0 许可——可以自由复用,注明出处并链接到 quantized.uk 即可。 整个索引也以 JSON 形式公开(模型与显卡)。
同样的数据,以文本呈现
图表由 SVG 路径绘制,其中的数字并不是可读文本。下面两张表提供相同的数据。
未记录确切的测试日期。所示日期为该结果首次发布的日期,即测试日期的上限。
哪些有实测,哪些没有
仅有预估
索引里剩下的 105 张卡。它们的数字来自和显存计算器同一套公式,按公开的显存带宽换算得出——不是另一套隐藏的实测数据。
完全没覆盖
- 双 RTX 3090 指南之外的多卡吞吐
- 大于 1 的 batch size
- 与生成速度分开的提示词处理(prefill)速度
- 困惑度以外的任何质量指标
硬件 × 格式矩阵
多模型真实硬件速度与显存 — 可比量化级别横向对照
| 模型 | 硬件 | 框架 | 量化级别 | 速度 (tok/s) | 显存用量 | 备注 |
|---|---|---|---|---|---|---|
| Llama 3.1 8B | RTX 4090 24G | ExLlamaV2 0.2.1测于 2026-06-24 或之前 | EXL2 4.65bpw | 235 | 5.4 GB | 消费级最快 |
| Llama 3.1 8B | RTX 4090 24G | vLLM v0.6.3测于 2026-06-24 或之前 | AWQ INT4 | 218 | 4.9 GB | 批量 API 服务最佳 |
| Llama 3.1 8B | RTX 4090 24G | llama.cpp b4217测于 2026-06-24 或之前 | GGUF Q4_K_M | 148 | 5.7 GB | 部署最简单 |
| Qwen2.5 7B | RTX 4090 24G | llama.cpp b4217测于 2026-06-25 或之前 | GGUF Q4_K_M | 155 | 5.4 GB | 代码能力强;显存占用接近 8B |
| DeepSeek-R1 14B | RTX 4090 24G | ExLlamaV2 0.2.1测于 2026-06-25 或之前 | EXL2 4.65bpw | 128 | 9.8 GB | 推理蒸馏版;2026 年热门 |
| Qwen2.5 32B | RTX 4090 24G | llama.cpp b4217测于 2026-06-25 或之前 | GGUF Q4_K_M | 44 | 22 GB | 4K 上下文下勉强装下;想留余量用 Q3 |
| Qwen3 8B | RTX 4090 24G | llama.cpp b4217测于 2026-06-25 或之前 | GGUF Q4_K_M | 142 | 5.8 GB | Qwen3 思考模式;2026 年 8B 旗舰 |
| Qwen3 14B | RTX 4090 24G | ExLlamaV2 0.2.1测于 2026-06-25 或之前 | EXL2 4.65bpw | 118 | 10 GB | 推理能力强;16GB 以上的甜点位 |
| Qwen3 32B | RTX 4090 24G | llama.cpp b4217测于 2026-06-25 或之前 | GGUF Q4_K_M | 42 | 22.5 GB | Qwen2.5-32B 的稠密 32B 后继 |
| Qwen3 30B-A3B | RTX 4090 24G | llama.cpp b4217测于 2026-06-25 或之前 | GGUF Q4_K_M | 95 | 19 GB | MoE 激活 3B —— 16GB 显卡上很快 |
| R1-Distill-Llama-8B | RTX 4090 24G | llama.cpp b4217测于 2026-07-22 或之前 | GGUF Q4_K_M | 145 | 5.6 GB | 8B 体量上的 R1 推理能力 |
| Phi-4 14B | RTX 4090 24G | llama.cpp b4217测于 2026-07-22 或之前 | GGUF Q4_K_M | 88 | 9.1 GB | 稠密 14B 表现强;短上下文下 12GB 可跑 |
| Qwen3-Coder 30B-A3B | RTX 4090 24G | llama.cpp b4217测于 2026-07-22 或之前 | GGUF Q4_K_M | 92 | 19.2 GB | 面向 agent 编码的 MoE;原生 256K 上下文 |
| Llama 3.1 8B | RTX 3090 24G | ExLlamaV2 0.2.1测于 2026-06-24 或之前 | EXL2 4.65bpw | 175 | 5.4 GB | 较旧但依然可用 |
| Llama 3.1 8B | M3 Max 48G | Ollama 0.3.14测于 2026-06-24 或之前 | GGUF Q4_K_M | 68 | 5.7 GB | 统一内存优势 |
| Llama 3.1 8B | M2 Ultra 192G | Ollama 0.3.14测于 2026-06-24 或之前 | GGUF Q4_K_M | 90 | 5.7 GB | 单卡即可跑 70B |
本站怎样才算"实测"
下表每一行都符合这些规则。最后一条由构建强制检查:不通过的行无法上线。
- 一次只跑一个序列(batch 1):128 token 的提示词,生成 128 token,上下文 4096 token。
- 每次运行都记录运行时及其版本,列在下方「测试方法」里。
- 显存记录的是生成过程中的峰值,包含运行时自身的开销。
- 每个稠密模型的成绩都要对照显卡的带宽上限检查。每生成一个 token 都要把全部权重读一遍,所以"带宽 ÷ 权重大小"是硬上限;超出这个数 15% 以上的成绩会被剔除。此前有三行 RTX 4060 Ti 的数据就是因此删掉的。
- 混合专家(MoE)模型每个 token 只读激活的专家,所以不按稠密模型的上限检查。
- 站内其他不出自本页的数字,都标注为"估算"。
这些成绩缺少的东西:原始测试输出和完整启动参数当时没有保存。今后的新成绩,包括你提交的,都必须附原始输出。
实测显存与计算器估算对照
每一行旁边是计算器对同一模型、同一档位、同样 4096 token 上下文给出的估算。这能说明本站自己的估算可信到什么程度。
在本索引能计算的 16 次运行里,估算与实测差距的中位数是 0.1 GB。差距最大的是 Phi-4 14B:计算器估算 10.2 GB,实测 9.1 GB。
| 模型 | 显卡 | 档位 | 实测显存 | 计算器估算 | 差值 | tok/s | 上限(占比) |
|---|---|---|---|---|---|---|---|
| Llama 3.1 8B | RTX 4090 | EXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-24 或之前 | 5.4 GB | 5.4 GB | 0.0 | 235 | 228 (103%) |
| Llama 3.1 8B | RTX 4090 | AWQ INT4vLLM v0.6.3测于 2026-06-24 或之前 | 4.9 GB | 4.8 GB | −0.2 | 218 | 265 (82%) |
| Llama 3.1 8B | RTX 4090 | GGUF Q4_K_Mllama.cpp b4217测于 2026-06-24 或之前 | 5.7 GB | 5.6 GB | −0.1 | 148 | 218 (68%) |
| Qwen2.5 7B | RTX 4090 | GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前 | 5.4 GB | 5.1 GB | −0.3 | 155 | 230 (67%) |
| DeepSeek-R1 14B | RTX 4090 | EXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-25 或之前 | 9.8 GB | 9.8 GB | −0.1 | 128 | 124 (103%) |
| Qwen2.5 32B | RTX 4090 | GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前 | 22.0 GB | 21.7 GB | −0.3 | 44 | 54 (81%) |
| Qwen3 8B | RTX 4090 | GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前 | 5.8 GB | 5.8 GB | 0.0 | 142 | 214 (66%) |
| Qwen3 14B | RTX 4090 | EXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-25 或之前 | 10.0 GB | 9.7 GB | −0.3 | 118 | 124 (95%) |
| Qwen3 32B | RTX 4090 | GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前 | 22.5 GB | 21.9 GB | −0.6 | 42 | 53 (79%) |
| Qwen3 30B-A3B | RTX 4090 | GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前 | 19.0 GB | 19.7 GB | +0.7 | 95 | — |
| R1-Distill-Llama-8B | RTX 4090 | GGUF Q4_K_Mllama.cpp b4217测于 2026-07-22 或之前 | 5.6 GB | 5.6 GB | 0.0 | 145 | 218 (67%) |
| Phi-4 14B | RTX 4090 | GGUF Q4_K_Mllama.cpp b4217测于 2026-07-22 或之前 | 9.1 GB | 10.2 GB | +1.1 | 88 | 119 (74%) |
| Qwen3-Coder 30B-A3B | RTX 4090 | GGUF Q4_K_Mllama.cpp b4217测于 2026-07-22 或之前 | 19.2 GB | 19.8 GB | +0.6 | 92 | — |
| Llama 3.1 8B | RTX 3090 | EXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-24 或之前 | 5.4 GB | 5.4 GB | 0.0 | 175 | 211 (83%) |
| Llama 3.1 8B | Mac M3 Max 48G | GGUF Q4_K_MOllama 0.3.14测于 2026-06-24 或之前 | 5.7 GB | 5.6 GB | −0.1 | 68 | 87 (78%) |
| Llama 3.1 8B | Mac M2 Ultra 192G | GGUF Q4_K_MOllama 0.3.14测于 2026-06-24 或之前 | 5.7 GB | 5.6 GB | −0.1 | 90 | 173 (52%) |
上限一列就是显卡页面引用的那个数。它用十进制 GB/s 除以二进制 GiB 的权重大小,所以偏低约 7%——这就是为什么有的成绩会略高于 100%。混合专家模型的行不显示上限。
提交你自己显卡的成绩
本页目前只有 4 张卡的实测。如果你的卡不在其中——尤其是 16 到 24 GB 的显卡——一次运行就能补上空白。成绩必须能被核对才能收录,所以请严格运行下面这条命令:
llama-bench -m <model-file>.gguf -p 512 -n 128 -ngl 99- 完整、未经修改的输出——里面有 build 行和 pp512 / tg128 表格。
- 准确的 GGUF 文件名,以及下载它的仓库。
- 你的显卡(或 Mac 芯片与内存)、驱动版本和操作系统。
- 运行时没有其他程序占用显卡。
它会像上面每一行一样对照你显卡的带宽上限检查。llama-bench 的 tg128 是从空上下文开始生成的,和上面的方法接近但不完全相同,所以读者提交的成绩会单独标注。我们只公开显卡型号,绝不公开你的名字或邮箱。
将打开的邮件内容(你补充之前):
主题: quantized.uk 实测成绩提交 显卡 / 芯片与内存: 驱动与操作系统: GGUF 文件: 下载仓库: llama-bench 输出(未修改):打开这封邮件
参考模型
Meta Llama 3.1 8B Instruct
PPL 数据集
WikiText-2
上下文
4096 tokens
批大小(Batch Size)
1
框架版本
这些运行时的当前版本(2026-11-21 核对)
llama.cpp 稳定版为 v1.0.0(nightly-tag.txt 指向 b12359);Windows 命令保留此前已核实的 b12409。较新的 b12606 标记为预发布,本次稳定版核查不采用。vLLM 0.34 默认启用可扩展 KV 缓存,块大小改为 64;本站生成命令已显式设置显存利用率 0.85。本页的数字是在左列那套软件栈上测得的。这些版本如今已明显落后于当前版本 —— 速度尤其会随运行时变化,因此请把它们当作格式之间的排序参考,而不是你今天会跑出的数值。这个对比说明不了的一件事:ExLlamaV2 自 2025-07 起再没有发布过新版本,维护者的主要精力已经转到另一个仓库 ExLlamaV3(截至上面的日期已到 v1.6.7,更新很勤)。它自己的 README 说得很清楚,这是一个全新的量化格式 EXL3,而不是 EXL2 的版本升级——本索引目前还没有任何模型提供这个格式,所以暂不收录,但本站在跟踪的一个格式陷入停滞,这件事本身值得让读者知道。
速度测试:prompt_len=128,gen_len=128,单序列。PPL 在 WikiText-2 测试集上测量。实际结果因驱动、batch size 和上下文长度可能偏差 ±10%。
吞吐量
- 提示词长度
- 128 tokens
- 生成长度
- 128 tokens
- 测量方式(采样次数、取均值还是中位数、是否预热)
- 未记录
- 记录口径
- 生成阶段的 tok/s,不含提示词处理
困惑度
- FP16 基准困惑度
- 6.14
- 记录口径
- 相对基准保留的百分比
显存
- 测量工具
- 未记录
- 记录口径
- 生成过程中的峰值占用,含运行时开销
测试硬件
NVIDIA 显卡:NVIDIA 550.x / CUDA 12.4。Apple 显卡:不涉及 CUDA / 驱动栈——走各框架自己的 Metal 后端。
数据来源: RTX 4090 / 3090 / M3 Max / M2 Ultra 本地实测;llama.cpp b4217、ExLlamaV2 0.2.1、vLLM v0.6.3、Ollama 0.3.14