跳转到主要内容
数据来源可查 · 端侧部署 · 极客优先
2026-11-22最近更新

这张显卡,
到底能跑多大模型?

极致量化。

选一张显卡,选一个用途。这里给出真正装得下的模型、每个模型的显存算法,以及可直接运行的命令。

新手先看 8G 显卡入门指南
GGUFAWQEXL2GPTQ等

你的显卡装得下什么

按 4K 上下文、batch 1 计算 —— 权重 + KV 缓存 + 10% 激活值,数据直接来自模型索引。

上下文长度
并发数(batch)

示例这里以 RTX 4060 Ti 16G 作为示例 —— 在上方选择你自己的硬件即可看到你的结果。

  • 预计可容纳的最大模型
    Xing4.0 29B-A4B

    GGUF · Q2_K

    14 GiB / 共 16 GiB
    剩余 2.4 GiB
    困惑度增幅:未公布

    在 4K 上下文下,这张卡还能宽裕运行的最大模型。

  • 留有余量
    Ternary Bonsai 2 27B

    GGUF · Q2_0

    8.2 GiB / 共 16 GiB
    剩余 7.8 GiB
    困惑度增幅:未公布

    占用不到显存 60% 的最大模型,之后还能把上下文加长很多。

  • RTX 4090 实测速度最高
    Qwen3 4B Instruct

    GGUF · Q6_K

    4.0 GiB / 共 16 GiB
    剩余 12 GiB
    困惑度较 FP16 +0.7%
    RTX 4090 · 145 tok/s

    装得下的模型里实测吞吐最高的一个,通常是小模型。该数字在 RTX 4090 上测得,只能当作排序参考,不是你机器上的数值。

查看 RTX 4060 Ti 16G 能跑的全部模型 →

关于这个索引 —— 不是你这张卡的数字

151已收录量化模型
4支持格式
105GPU 数据库
+2.9%Q4_K_M 困惑度增幅(对比 FP16)79 个模型公布值的中位数 · 区间 1.4–5.2% · 只反映困惑度,不代表任务能力

数据更新于 2026-11-22

最近收录

索引里最新加入的模型和硬件 · 数据更新于2026-11-22

完整更新日志 →

常见的入口

从这里开始

真机实测样本

基准测试表中的 6 行,每一行都是真机跑出的结果,并记录了对应的软件栈。本站其余的显存数字和大部分速度是计算得出的,不是实测。

模型硬件软件栈tok/s显存
Llama 3.1 8BRTX 4090 24GEXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-24 或之前2355.4 GB
Qwen3 30B-A3BRTX 4090 24GGGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前9519 GB
Qwen2.5 32BRTX 4090 24GGGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前4422 GB
Llama 3.1 8BM2 Ultra 192GGGUF Q4_K_MOllama 0.3.14测于 2026-06-24 或之前905.7 GB
Llama 3.1 8BM3 Max 48GGGUF Q4_K_MOllama 0.3.14测于 2026-06-24 或之前685.7 GB
Llama 3.1 8BRTX 3090 24GEXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-24 或之前1755.4 GB

测试条件:Meta Llama 3.1 8B Instruct · WikiText-2 · 4096 上下文 · batch 1

测试时使用 llama.cpp b4217、ExLlamaV2 0.2.1、vLLM v0.6.3、Ollama 0.3.14。当前正式版(2026-11-21 核对):llama.cpp b12409、vLLM v0.34.0、Ollama v0.40.17 —— 速度会随运行时变化,请把这些数字当作排序参考,而不是你今天会跑出的数值。

完整基准表与测试方法 →

在下载那个 20GB 文件之前

全部 27 个问题

跑一个 7B 模型需要多少显存?

在 Q4_K_M、4K 上下文下约 5.1 GB —— 权重 4.2 GB、KV 缓存 0.5 GB、激活缓冲 0.5 GB,以 WizardLM-2 7B(7B)实算。本索引中每一张 8 GB 显卡都能从容跑下,还有余量。这个数字随上下文增长,而不是随你用得多不多:同一个文件在 32K 下约需 9.0 GB,因为 KV 缓存涨到了 4.0 GB。

16G 显卡能跑 24B 的模型吗?

在 4-bit、短上下文下可以 —— Mistral Small 24B Instruct 在 AWQ INT4 下约需 16 GB 中的 13.2 GB,还剩 2.8 GB。档位比参数量更关键:同一个模型在 Q4_K_M 下是 15.9 GB,占这张卡的 99% —— 在显卡完全空闲时能加载,但没有余量留给更长的窗口。16 GB 显卡能从容运行本索引 151 个模型中的 87 个。

Q4 量化掉点严重吗?

在 Q4_K_M 下,本站有公开困惑度数据的 79 个模型,困惑度相对 FP16 上升的中位数为 2.9%,区间从 1.4% 到 5.2%。有两点比中位数更重要:同一档位下,小模型掉得比大模型多;而且困惑度衡量的是语言建模能力,不等于「它还能不能做好你的任务」。没有公开数据的模型在本站显示为短横线,而不是当作零损失。

GGUF 和 AWQ 有什么区别,该用哪个?

除非你是在跑服务端,否则选 GGUF。GGUF 什么硬件都能跑 —— CPU、NVIDIA、AMD、Apple —— 本站 151 个模型中有 151 个提供它,而 AWQ 是 53 个。AWQ 的价值在于用 vLLM 做批量请求时的吞吐,适用于 NVIDIA 显卡或 vLLM ROCm 版本支持的 Radeon 显卡;如果只是你一个人和一个模型对话,它给不了 GGUF 给不了的东西。本站有 53 个模型同时提供两种格式,那也是唯一能在同一份权重上比较它们的集合。

发现数字不对?

本索引由人工维护,并对照公开模型卡核对。标注为「估算」的数字是按架构计算得出、并非实测;如果与你自己机器上的结果对不上,欢迎指出,我们会更正。

数据更新日志

最后更新 2026-11-22

展开全部 279 条

2026-11-22首页标语现为“数据来源可查 · 端侧部署 · 极客优先”,强调数据来源可追溯,避免暗示本站代码仓库公开。

所有数据均经人工整理并对照社区来源验证。部署前请务必交叉核对 Hugging Face 官方模型卡。