这张显卡,
到底能跑多大模型?
极致量化。
选一张显卡,选一个用途。这里给出真正装得下的模型、每个模型的显存算法,以及可直接运行的命令。
新手先看 8G 显卡入门指南你的显卡装得下什么
按 4K 上下文、batch 1 计算 —— 权重 + KV 缓存 + 10% 激活值,数据直接来自模型索引。
示例这里以 RTX 4060 Ti 16G 作为示例 —— 在上方选择你自己的硬件即可看到你的结果。
- 预计可容纳的最大模型Xing4.0 29B-A4B
GGUF · Q2_K
- 14 GiB / 共 16 GiB
- 剩余 2.4 GiB
- 困惑度增幅:未公布
在 4K 上下文下,这张卡还能宽裕运行的最大模型。
- 留有余量Ternary Bonsai 2 27B
GGUF · Q2_0
- 8.2 GiB / 共 16 GiB
- 剩余 7.8 GiB
- 困惑度增幅:未公布
占用不到显存 60% 的最大模型,之后还能把上下文加长很多。
- RTX 4090 实测速度最高Qwen3 4B Instruct
GGUF · Q6_K
- 4.0 GiB / 共 16 GiB
- 剩余 12 GiB
- 困惑度较 FP16 +0.7%
- RTX 4090 · 145 tok/s
装得下的模型里实测吞吐最高的一个,通常是小模型。该数字在 RTX 4090 上测得,只能当作排序参考,不是你机器上的数值。
关于这个索引 —— 不是你这张卡的数字
数据更新于 2026-11-22
- 新RTX 5090 Laptop GPU · RTX 5080 Laptop GPU · RTX 5070 Ti Laptop GPU · RTX 5070 Laptop GPU 8G · RTX 5070 Laptop GPU 12G · RTX 5060 Laptop GPU · RTX 5050 Laptop GPU · RTX 4090 Laptop GPU · RTX 4080 Laptop GPU · RTX 4070 Laptop GPU · RTX 4060 Laptop GPU · RTX 4050 Laptop GPU · RTX 3080 Ti Laptop GPU · RTX 3080 Laptop GPU 8G · RTX 3080 Laptop GPU 16G · RTX 3070 Ti Laptop GPU · RTX 3070 Laptop GPU · RTX 3060 Laptop GPU · RTX 3050 Ti Laptop GPU · RTX 3050 Laptop GPU 4G · RTX 3050 Laptop GPU 6G硬件 · 24 / 16 / 12 / 8 / 6 / 4 GB · 2026-11-22 收录
- 新Radeon RX 7900M · Radeon RX 7800M · Radeon RX 7600M XT · Radeon RX 7600M · Radeon RX 7700S · Radeon RX 7600S硬件 · 16 / 12 / 8 GB · 2026-11-22 收录
- 新Clairic 27B2026-11-21 收录
- 新Clairic Flash 9B2026-11-21 收录
- 新Shot Reader 8B2026-11-21 收录
- 新DaisyRose 27B2026-11-19 收录
常见的入口
从这里开始
真机实测样本
基准测试表中的 6 行,每一行都是真机跑出的结果,并记录了对应的软件栈。本站其余的显存数字和大部分速度是计算得出的,不是实测。
| 模型 | 硬件 | 软件栈 | tok/s | 显存 |
|---|---|---|---|---|
| Llama 3.1 8B | RTX 4090 24G | EXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-24 或之前 | 235 | 5.4 GB |
| Qwen3 30B-A3B | RTX 4090 24G | GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前 | 95 | 19 GB |
| Qwen2.5 32B | RTX 4090 24G | GGUF Q4_K_Mllama.cpp b4217测于 2026-06-25 或之前 | 44 | 22 GB |
| Llama 3.1 8B | M2 Ultra 192G | GGUF Q4_K_MOllama 0.3.14测于 2026-06-24 或之前 | 90 | 5.7 GB |
| Llama 3.1 8B | M3 Max 48G | GGUF Q4_K_MOllama 0.3.14测于 2026-06-24 或之前 | 68 | 5.7 GB |
| Llama 3.1 8B | RTX 3090 24G | EXL2 4.65bpwExLlamaV2 0.2.1测于 2026-06-24 或之前 | 175 | 5.4 GB |
测试条件:Meta Llama 3.1 8B Instruct · WikiText-2 · 4096 上下文 · batch 1
测试时使用 llama.cpp b4217、ExLlamaV2 0.2.1、vLLM v0.6.3、Ollama 0.3.14。当前正式版(2026-11-21 核对):llama.cpp b12409、vLLM v0.34.0、Ollama v0.40.17 —— 速度会随运行时变化,请把这些数字当作排序参考,而不是你今天会跑出的数值。
完整基准表与测试方法 →编辑推荐
精选优质量化版本 — 点击查看模型详情
- 新发布Clairic Flash 9BGGUFQ4_K_M · 4K 上下文约 6.1 GB · 文本和图像结构化提取XylolabsRTX 4060(8 GB)起可从容运行
- 新发布Clairic 27BGGUFQ4_K_M · 4K 上下文约 17.8 GB · 多模态结构化输出XylolabsRTX 3090(24 GB)起可从容运行
- 新发布Shot Reader 8BGGUFQ4_K_M · 4K 上下文约 5.9 GB · 结构化镜头描述mradermacherRTX 4060(8 GB)起可从容运行
- 新发布Ternary Bonsai 2 27BGGUFQ2_0 · 4K 上下文约 8.2 GB · 适用上游 llama.cpp 的官方 Q2_0prism-mlArc B570 10G(10 GB)起可从容运行
- 新发布DaisyRose 27BGGUFQ4_K_M · 4K 上下文约 18.4 GB · 基于 Qwen 的多模态推理模型bartowskiRTX 3090(24 GB)起可从容运行
- 新发布Apex 35B V1.0GGUFQ4_K_M · 4K 上下文约 23.9 GB · MoE,附独立视觉投影文件bartowskiRTX 5090(32 GB)起可从容运行
在下载那个 20GB 文件之前
全部 27 个问题跑一个 7B 模型需要多少显存?
在 Q4_K_M、4K 上下文下约 5.1 GB —— 权重 4.2 GB、KV 缓存 0.5 GB、激活缓冲 0.5 GB,以 WizardLM-2 7B(7B)实算。本索引中每一张 8 GB 显卡都能从容跑下,还有余量。这个数字随上下文增长,而不是随你用得多不多:同一个文件在 32K 下约需 9.0 GB,因为 KV 缓存涨到了 4.0 GB。
16G 显卡能跑 24B 的模型吗?
在 4-bit、短上下文下可以 —— Mistral Small 24B Instruct 在 AWQ INT4 下约需 16 GB 中的 13.2 GB,还剩 2.8 GB。档位比参数量更关键:同一个模型在 Q4_K_M 下是 15.9 GB,占这张卡的 99% —— 在显卡完全空闲时能加载,但没有余量留给更长的窗口。16 GB 显卡能从容运行本索引 151 个模型中的 87 个。
Q4 量化掉点严重吗?
在 Q4_K_M 下,本站有公开困惑度数据的 79 个模型,困惑度相对 FP16 上升的中位数为 2.9%,区间从 1.4% 到 5.2%。有两点比中位数更重要:同一档位下,小模型掉得比大模型多;而且困惑度衡量的是语言建模能力,不等于「它还能不能做好你的任务」。没有公开数据的模型在本站显示为短横线,而不是当作零损失。
GGUF 和 AWQ 有什么区别,该用哪个?
除非你是在跑服务端,否则选 GGUF。GGUF 什么硬件都能跑 —— CPU、NVIDIA、AMD、Apple —— 本站 151 个模型中有 151 个提供它,而 AWQ 是 53 个。AWQ 的价值在于用 vLLM 做批量请求时的吞吐,适用于 NVIDIA 显卡或 vLLM ROCm 版本支持的 Radeon 显卡;如果只是你一个人和一个模型对话,它给不了 GGUF 给不了的东西。本站有 53 个模型同时提供两种格式,那也是唯一能在同一份权重上比较它们的集合。
发现数字不对?
本索引由人工维护,并对照公开模型卡核对。标注为「估算」的数字是按架构计算得出、并非实测;如果与你自己机器上的结果对不上,欢迎指出,我们会更正。
数据更新日志
最后更新 2026-11-22
2026-11-22首页标语现为“数据来源可查 · 端侧部署 · 极客优先”,强调数据来源可追溯,避免暗示本站代码仓库公开。
所有数据均经人工整理并对照社区来源验证。部署前请务必交叉核对 Hugging Face 官方模型卡。