24GB 显存

RTX 4090 能跑哪些大模型？

在 24GB、4K 上下文下，索引中 110 个模型有 84 个可从容运行，各自取仍留有余量的最高质量档位。

RTX 4090 的简短答案

24 GB，1,008 GB/s GDDR6X。索引中 110 个模型里有 84 个能在 4K 上下文下从容运行，87 个至少能加载。

能装下的最大模型: Seed-OSS 36B Instruct — AWQ INT4 下约 19.9 GB —— 4K 时仅剩 4.1 GB，上下文再拉长就要动用这点余量。
留有余量的选择: ERNIE 4.5 21B-A3B — Q4_K_M 下约 14.1 GB —— 占用不到显存的 60%，留下 10.0 GB 给长上下文或第二个进程。
速度上限: Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 1,008 GB/s 给出的硬上限约为 218 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。本索引在这张卡上有 13 条实测记录，实际结果见下方表格。
你会先撞到的墙: 瓶颈是容量。110 个模型中有 84 个能在 4K 上下文下从容装进 24 GB，装不下的那些差的是好几个 GB，而不是一点零头 —— 在 1,008 GB/s 下，限制这张卡的并不是显存子系统。要改变这份清单，靠的是换更大容量的卡，而不是换量化档位。

32B · 27

RTX 4090 能跑哪些大模型？ — 32B
模型	量化档位	预估显存	余量	tok/s
Seed-OSS 36B Instruct36B	AWQ INT4	19.91 GB	+4.1 GB	≤59天花板
Command R 35B35B	GPTQ INT4	18.97 GB	+5 GB	≤61天花板
Yi 1.5 34B Chat34B	AWQ INT4	19 GB	+5 GB	≤62天花板
Qwen3 32B Instruct32B	AWQ INT4	18.22 GB	+5.8 GB	≤65天花板
Qwen2.5 32B Instruct32B	EXL2 3.5bpw	15.96 GB	+8 GB	≤75天花板
Qwen2.5-Coder 32B Instruct32B	AWQ INT4	18.08 GB	+5.9 GB	≤65天花板
DeepSeek-R1-Distill-Qwen-32B32B	EXL2 3.5bpw	15.96 GB	+8 GB	≤75天花板
Nemotron 3.5 Lightning 30B-A3B30B-A3B	Q4_0	19.79 GB	+4.2 GB	≤591天花板
Gemma 4 31B IT31B	Q4_K_M	21.08 GB	+2.9 GB	38–50推算
Qwen3 30B-A3B Instruct30B-A3B	Q4_K_M	19.73 GB	+4.3 GB	95实测
Qwen3-Coder 30B-A3B Instruct30B-A3B	Q4_K_M	19.73 GB	+4.3 GB	92实测
Qwen3-VL 30B-A3B Instruct30B-A3B	Q4_K_M	19.73 GB	+4.3 GB	≤583天花板
GLM-4.7-Flash30B-A3B	Q4_K_M	19.19 GB	+4.8 GB	≤584天花板
Granite 4.2 30B30B	Q4_K_M	19.61 GB	+4.4 GB	40–53推算
Muse Glimmer 30B30B	Q4_K_M	17.66 GB	+6.3 GB	42–56推算
Qwen3.8 27B27B	Q4_K_M	17.47 GB	+6.5 GB	43–57推算
Qwen3.6 27B27B	Q4_K_M	19.07 GB	+4.9 GB	39–52推算
Gemma 3 27B IT27B	Q4_K_M	18.37 GB	+5.6 GB	42–56推算
Gemma 2 27B Instruct27B	Q4_K_M	18.81 GB	+5.2 GB	43–57推算
Gemma 4 26B-A4B IT26B-A4B	Q4_K_M	16.39 GB	+7.6 GB	≤438天花板
Mistral Small 24B Instruct24B	EXL2 4.65bpw	15.26 GB	+8.7 GB	≤76天花板
LFM2.5 24B-A2B24B-A2B	Q4_K_M	15.27 GB	+8.7 GB	≤715天花板
Devstral Small 1.1 24B24B	Q6_K	20.91 GB	+3.1 GB	36–48推算
Magistral Small 1.2 24B24B	Q6_K	20.91 GB	+3.1 GB	36–48推算
Codestral 22B22B	Q4_K_M	15.03 GB	+9 GB	52–69推算
ERNIE 4.5 21B-A3B21B-A3B	Q4_K_M	14.05 GB	+10 GB	≤584天花板
GPT-OSS 20B21B MoE	MXFP4	12.76 GB	+11.2 GB	≤509天花板

14B · 18

RTX 4090 能跑哪些大模型？ — 14B
模型	量化档位	预估显存	余量	tok/s
InternLM2 20B Chat20B	Q5_K_M	15.59 GB	+8.4 GB	50–66推算
DeepSeek-Coder-V2-Lite Instruct16B-A2.4B	Q8_0	17.56 GB	+6.4 GB	≤416天花板
DeepSeek-V2-Lite Chat16B-A2.4B	Q4_K_M	10.08 GB	+13.9 GB	≤729天花板
StarCoder2 15B15B	Q4_K_M	10.19 GB	+13.8 GB	78–103推算
Qwen3 14B Instruct14B	Q5_K_M	11.65 GB	+12.4 GB	67–89推算
Qwen2.5 14B Instruct14B	Q5_K_M	11.73 GB	+12.3 GB	68–89推算
DeepSeek-R1-Distill-Qwen-14B14B	EXL2 4.65bpw	9.75 GB	+14.3 GB	≤124天花板
Phi-4 14B14B	Q5_K_M	11.77 GB	+12.2 GB	68–89推算
Phi-3 Medium 14B Instruct14B	Q6_K	12.86 GB	+11.1 GB	61–81推算
Mistral Nemo 12B Instruct12B	Q6_K	11.14 GB	+12.9 GB	71–93推算
Gemma 3 12B IT12B	Q5_K_M	9.84 GB	+14.2 GB	81–108推算
Mellum2.1 12B-A2.5B Thinking12B-A2.5B	Q8_0	13.6 GB	+10.4 GB	≤400天花板
Stable LM 2 12B Chat12B	Q4_K_M	8.35 GB	+15.7 GB	96–127推算
Llama 3.2 11B Vision Instruct11B	Q8_0	12.9 GB	+11.1 GB	60–80推算
Solar 10.7B Instruct11B	Q4_K_M	7.6 GB	+16.4 GB	109–144推算
Falcon 3 10B Instruct10B	Q4_K_M	7.28 GB	+16.7 GB	112–148推算
Gemma 2 9B Instruct9B	Q8_0	11.7 GB	+12.3 GB	72–95推算
Qwen3.5 9B9B	Q8_0	10.37 GB	+13.6 GB	72–95推算

7B · 25

RTX 4090 能跑哪些大模型？ — 7B
模型	量化档位	预估显存	余量	tok/s
GLM-4-9B-Chat9B	Q8_0	10.16 GB	+13.8 GB	74–98推算
Qwen3-VL 8B Instruct8B	Q8_0	10.39 GB	+13.6 GB	75–100推算
Granite 4.2 8B8B	Q8_0	10.45 GB	+13.6 GB	76–100推算
Ministral 3 8B Instruct8B	Q8_0	10.02 GB	+14 GB	78–103推算
Qwen2-VL 7B Instruct7B	Q4_K_M	5.49 GB	+18.5 GB	140–186推算
Granite 3.1 8B Instruct8B	Q4_K_M	5.88 GB	+18.1 GB	142–188推算
Qwen3 8B Instruct8B	Q6_K	7.64 GB	+16.4 GB	105–139推算
Llama 3.1 8B Instruct8B	Q8_0	9.47 GB	+14.5 GB	83–109推算
Nous Hermes 3 Llama 3.1 8B8B	EXL2 4.65bpw	5.43 GB	+18.6 GB	≤228天花板
Aya 23 8B8B	Q4_K_M	5.64 GB	+18.4 GB	145–192推算
OpenChat 3.6 8B8B	EXL2 4.65bpw	5.43 GB	+18.6 GB	≤228天花板
DeepSeek-R1-Distill-Llama-8B8B	Q5_K_M	6.51 GB	+17.5 GB	124–164推算
InternLM2 7B Chat7B	Q4_K_M	5.45 GB	+18.6 GB	150–199推算
Qwen2.5 7B Instruct7B	Q6_K	6.77 GB	+17.2 GB	113–149推算
Qwen2.5-Coder 7B Instruct7B	EXL2 4.65bpw	4.87 GB	+19.1 GB	≤239天花板
DeepSeek-R1-Distill-Qwen-7B7B	EXL2 4.65bpw	4.87 GB	+19.1 GB	≤239天花板
Gemma 4 E4B ITE4B	Q8_0	8.46 GB	+15.5 GB	88–117推算
OLMo 2 7B Instruct7B	Q8_0	10.3 GB	+13.7 GB	91–120推算
OLMo 3 7B Instruct7B	Q8_0	10.3 GB	+13.7 GB	91–120推算
WizardLM-2 7B7B	Q4_K_M	5.14 GB	+18.9 GB	161–213推算
Mistral 7B Instruct v0.37B	Q6_K	6.75 GB	+17.3 GB	119–157推算
Zephyr 7B Beta7B	Q6_K	6.75 GB	+17.3 GB	119–157推算
Gemma 4 E2B ITE2B	Q8_0	5.2 GB	+18.8 GB	≤215天花板
Qwen3.5 4B4B	Q8_0	4.97 GB	+19 GB	≤230天花板
Gemma 3 4B IT4B	Q8_0	5.05 GB	+19 GB	≤232天花板

≤3B · 14

RTX 4090 能跑哪些大模型？ — ≤3B
模型	量化档位	预估显存	余量	tok/s
Qwen3 4B Instruct4B	Q6_K	4.05 GB	+20 GB	≤323天花板
Phi-4 Mini Instruct3.8B	Q8_0	4.81 GB	+19.2 GB	≤260天花板
Phi-3.5 Mini Instruct3.8B	Q8_0	5.89 GB	+18.1 GB	≤261天花板
Granite 4.2 3B3B	Q8_0	4.41 GB	+19.6 GB	≤273天花板
Llama 3.2 3B Instruct3B	Q8_0	4.05 GB	+20 GB	≤311天花板
Qwen2.5 3B Instruct3B	Q8_0	3.59 GB	+20.4 GB	≤323天花板
SmolLM3 3B3B	Q8_0	3.73 GB	+20.3 GB	≤324天花板
Gemma 2 2B Instruct2B	Q8_0	3.34 GB	+20.7 GB	≤383天花板
Qwen3.5 2B2B	Q8_0	2.23 GB	+21.8 GB	≤509天花板
Qwen3 1.7B Instruct1.7B	Q8_0	2.39 GB	+21.6 GB	≤579天花板
Qwen2.5 1.5B Instruct1.5B	Q8_0	1.83 GB	+22.2 GB	≤650天花板
Llama 3.2 1B Instruct1B	Q8_0	1.51 GB	+22.5 GB	≤806天花板
Qwen3.5 0.8B0.8B	Q8_0	0.94 GB	+23.1 GB	≤1244天花板
Qwen2.5 0.5B Instruct0.5B	Q8_0	0.6 GB	+23.4 GB	≤2057天花板

这个列表是怎么算出来的

每一行取该模型中困惑度损失最低、且预估总量（权重 + 4K 上下文下的 KV 缓存 + 激活缓冲）不超过显存 88% 的量化档位。88% 是计算器的"绿色"阈值，因此这里每一行都留有真实余量，而不是刚好装下。提高上下文长度，列表会变短；计算器可直接验证任意组合。速度一列是这张卡自己的：实测、按这张卡的 Llama 2 7B 跑分缩放出来的范围，或带宽天花板。只有 RTX 4090 上才有的数字会标明是那张卡。

另有 3 个模型能加载但不留余量（占用至多为显存的 105%）—— 模型库的显卡快捷筛选把它们也计入，因此那里的数字更大。

在显存计算器中打开这张卡感受这个速度浏览全部 110 个模型

在这张卡上的实测数据

本索引中有 13 条基准记录是在 RTX 4090 上跑出来的。本页其余内容都是计算得出，而非实测。

模型	软件栈	tok/s	显存占用
Llama 3.1 8B	ExLlamaV2 · EXL2 4.65bpw	235	5.4 GB
Llama 3.1 8B	vLLM · AWQ INT4	218	4.9 GB
Llama 3.1 8B	llama.cpp · GGUF Q4_K_M	148	5.7 GB
Qwen2.5 7B	llama.cpp · GGUF Q4_K_M	155	5.4 GB
DeepSeek-R1 14B	ExLlamaV2 · EXL2 4.65bpw	128	9.8 GB
Qwen2.5 32B	llama.cpp · GGUF Q4_K_M	44	22 GB
Qwen3 8B	llama.cpp · GGUF Q4_K_M	142	5.8 GB
Qwen3 14B	ExLlamaV2 · EXL2 4.65bpw	118	10 GB
Qwen3 32B	llama.cpp · GGUF Q4_K_M	42	22.5 GB
Qwen3 30B-A3B	llama.cpp · GGUF Q4_K_M	95	19 GB
R1-Distill-Llama-8B	llama.cpp · GGUF Q4_K_M	145	5.6 GB
Phi-4 14B	llama.cpp · GGUF Q4_K_M	88	9.1 GB
Qwen3-Coder 30B-A3B	llama.cpp · GGUF Q4_K_M	92	19.2 GB

显存预算相同的显卡

能装下什么由显存决定，所以同类型的每张 24GB 显卡返回的列表都一样。这几个页面给出的不是不同答案 —— 它们的差别在吞吐，而本索引并未逐卡实测吞吐。

RTX 3090

能装的模型一样，速度不一样——让同一句话在两张卡上并排流出来： RTX 4090 对比 RTX 3090（Gemma 4 31B IT）

这张卡的部署指南

针对 RTX 4090 的运行时或显存容量编写的分步指南，包括具体命令，以及确认模型确实跑在这张卡上的检查方法。

再往上一档

RTX 5090（32GB）比这张卡多装下 4 个索引内的模型。 RTX 5090 →

买之前，先用两张卡都装得下的模型听听速度差多少： RTX 4090 对比 RTX 5090（Gemma 4 31B IT） →

常见问题

RTX 4090 上最适合本地运行的大模型是哪个？

日常使用推荐 ERNIE 4.5 21B-A3B（Q4_K_M）—— 在 4K 上下文下约占这张卡 24 GB 中的 14.1 GB，还剩 10.0 GB 给更长的窗口。如果你要的是能加载的最大模型，那是 Seed-OSS 36B Instruct（AWQ INT4，约 19.9 GB，余量 4.1 GB）。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准，无法告诉你哪个模型更聪明。

RTX 4090 能跑 Mixtral 8x7B Instruct 吗？

勉强。它在本索引中最小的构建 AWQ INT4 约需 24.9 GB，而这张卡可用约 24.0 GB —— 在没有其他程序占用时能加载，但没有任何余量留给更长的上下文。上面的清单里没有它，因为那份清单要求模型占用不超过可用显存的 88%。

RTX 4090 跑 8B 模型的 Q4 量化大概有多少 tok/s？

本索引在这张卡上有 13 条实测记录，数据见本页表格。可以从规格推出的是：生成一个 token 需要把每个权重都读一遍，Llama 3.1 8B Instruct 在 Q4_K_M 下权重为 4.6 GB，而这张卡的带宽是 1,008 GB/s —— 上限约 218 tok/s。批大小、上下文长度、运行时以及缓存命中情况都会把实际值压到这个数以下。

本地跑大模型，RTX 4090 还是 RTX 3090？

两张卡装得下的模型相同：24 GB 与 24 GB 在 4K 下分别可从容运行 110 个中的 84 个与 84 个。差别在吞吐 —— 1,008 GB/s 对 936 GB/s，读取权重的速度相差 1.1 倍，而 token 生成正是受此限制。两张卡都装得下的模型，RTX 4090 生成更快。

本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-10-18 RSS → /zh/feed.xml