16GB 显存

RTX 4070 Ti Super 能跑哪些大模型？

在 16GB、4K 上下文下，索引中 110 个模型有 63 个可从容运行，各自取仍留有余量的最高质量档位。

RTX 4070 Ti Super 的简短答案

16 GB，672 GB/s GDDR6X。索引中 110 个模型里有 63 个能在 4K 上下文下从容运行，74 个至少能加载。

能装下的最大模型
Mistral Small 24B Instruct — AWQ INT4 下约 13.2 GB —— 4K 时仅剩 2.8 GB，上下文再拉长就要动用这点余量。
留有余量的选择
Stable LM 2 12B Chat — Q4_K_M 下约 8.3 GB —— 占用不到显存的 60%，留下 7.7 GB 给长上下文或第二个进程。
速度上限
Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 672 GB/s 给出的硬上限约为 145 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录，因此无法与这个上限对照。
你会先撞到的墙
瓶颈是带宽，不是容量。本页的模型都装得下，但在 672 GB/s 下，每生成一个 token 这张卡都要把整套权重读一遍 —— 同样是 16 GB 的 RTX 5080 带宽为 960 GB/s，搬运这些字节要快 1.4 倍。同一量化档位在这张卡上生成速度会成比例地更慢。
16GB 能跑的最好的本地大模型

32B · 6

RTX 4070 Ti Super 能跑哪些大模型？ — 32B
模型量化档位预估显存余量tok/s
Mistral Small 24B Instruct24BAWQ INT413.23 GB+2.8 GB≤59天花板
Devstral Small 1.1 24B24BAWQ INT413.02 GB+3 GB≤60天花板
Magistral Small 1.2 24B24BAWQ INT413.02 GB+3 GB≤60天花板
Codestral 22B22BAWQ INT412.56 GB+3.4 GB≤64天花板
ERNIE 4.5 21B-A3B21B-A3BQ4_K_M14.05 GB+1.9 GB≤389天花板
GPT-OSS 20B21B MoEMXFP412.76 GB+3.2 GB≤340天花板

14B · 18

RTX 4070 Ti Super 能跑哪些大模型？ — 14B
模型量化档位预估显存余量tok/s
InternLM2 20B Chat20BQ4_K_M13.43 GB+2.6 GB42–55推算
DeepSeek-Coder-V2-Lite Instruct16B-A2.4BQ4_K_M10.08 GB+5.9 GB≤486天花板
DeepSeek-V2-Lite Chat16B-A2.4BQ4_K_M10.08 GB+5.9 GB≤486天花板
StarCoder2 15B15BQ4_K_M10.19 GB+5.8 GB55–73推算
Qwen3 14B Instruct14BQ5_K_M11.65 GB+4.4 GB48–63推算
Qwen2.5 14B Instruct14BQ5_K_M11.73 GB+4.3 GB48–64推算
DeepSeek-R1-Distill-Qwen-14B14BEXL2 4.65bpw9.75 GB+6.3 GB≤83天花板
Phi-4 14B14BQ5_K_M11.77 GB+4.2 GB48–64推算
Phi-3 Medium 14B Instruct14BQ6_K12.86 GB+3.1 GB44–58推算
Mistral Nemo 12B Instruct12BQ6_K11.14 GB+4.9 GB50–66推算
Gemma 3 12B IT12BQ5_K_M9.84 GB+6.2 GB58–77推算
Mellum2.1 12B-A2.5B Thinking12B-A2.5BQ8_013.6 GB+2.4 GB≤267天花板
Stable LM 2 12B Chat12BQ4_K_M8.35 GB+7.7 GB68–90推算
Llama 3.2 11B Vision Instruct11BQ8_012.9 GB+3.1 GB43–57推算
Solar 10.7B Instruct11BQ4_K_M7.6 GB+8.4 GB77–102推算
Falcon 3 10B Instruct10BQ4_K_M7.28 GB+8.7 GB79–105推算
Gemma 2 9B Instruct9BQ8_011.7 GB+4.3 GB51–67推算
Qwen3.5 9B9BQ8_010.37 GB+5.6 GB51–68推算

7B · 25

RTX 4070 Ti Super 能跑哪些大模型？ — 7B
模型量化档位预估显存余量tok/s
GLM-4-9B-Chat9BQ8_010.16 GB+5.8 GB52–69推算
Qwen3-VL 8B Instruct8BQ8_010.39 GB+5.6 GB54–71推算
Granite 4.2 8B8BQ8_010.45 GB+5.6 GB54–71推算
Ministral 3 8B Instruct8BQ8_010.02 GB+6 GB55–73推算
Qwen2-VL 7B Instruct7BQ4_K_M5.49 GB+10.5 GB100–132推算
Granite 3.1 8B Instruct8BQ4_K_M5.88 GB+10.1 GB101–133推算
Qwen3 8B Instruct8BQ6_K7.64 GB+8.4 GB75–99推算
Llama 3.1 8B Instruct8BQ8_09.47 GB+6.5 GB59–78推算
Nous Hermes 3 Llama 3.1 8B8BEXL2 4.65bpw5.43 GB+10.6 GB≤152天花板
Aya 23 8B8BQ4_K_M5.64 GB+10.4 GB103–136推算
OpenChat 3.6 8B8BEXL2 4.65bpw5.43 GB+10.6 GB≤152天花板
DeepSeek-R1-Distill-Llama-8B8BQ5_K_M6.51 GB+9.5 GB88–116推算
InternLM2 7B Chat7BQ4_K_M5.45 GB+10.6 GB107–141推算
Qwen2.5 7B Instruct7BQ6_K6.77 GB+9.2 GB80–106推算
Qwen2.5-Coder 7B Instruct7BEXL2 4.65bpw4.87 GB+11.1 GB≤160天花板
DeepSeek-R1-Distill-Qwen-7B7BEXL2 4.65bpw4.87 GB+11.1 GB≤160天花板
Gemma 4 E4B ITE4BQ8_08.46 GB+7.5 GB63–83推算
OLMo 2 7B Instruct7BQ8_010.3 GB+5.7 GB65–85推算
OLMo 3 7B Instruct7BQ8_010.3 GB+5.7 GB65–85推算
WizardLM-2 7B7BQ4_K_M5.14 GB+10.9 GB114–151推算
Mistral 7B Instruct v0.37BQ6_K6.75 GB+9.3 GB84–112推算
Zephyr 7B Beta7BQ6_K6.75 GB+9.3 GB84–112推算
Gemma 4 E2B ITE2BQ8_05.2 GB+10.8 GB≤143天花板
Qwen3.5 4B4BQ8_04.97 GB+11 GB≤153天花板
Gemma 3 4B IT4BQ8_05.05 GB+11 GB≤155天花板

≤3B · 14

RTX 4070 Ti Super 能跑哪些大模型？ — ≤3B
模型量化档位预估显存余量tok/s
Qwen3 4B Instruct4BQ6_K4.05 GB+12 GB≤215天花板
Phi-4 Mini Instruct3.8BQ8_04.81 GB+11.2 GB≤173天花板
Phi-3.5 Mini Instruct3.8BQ8_05.89 GB+10.1 GB≤174天花板
Granite 4.2 3B3BQ8_04.41 GB+11.6 GB≤182天花板
Llama 3.2 3B Instruct3BQ8_04.05 GB+12 GB≤207天花板
Qwen2.5 3B Instruct3BQ8_03.59 GB+12.4 GB≤215天花板
SmolLM3 3B3BQ8_03.73 GB+12.3 GB≤216天花板
Gemma 2 2B Instruct2BQ8_03.34 GB+12.7 GB≤256天花板
Qwen3.5 2B2BQ8_02.23 GB+13.8 GB≤339天花板
Qwen3 1.7B Instruct1.7BQ8_02.39 GB+13.6 GB≤386天花板
Qwen2.5 1.5B Instruct1.5BQ8_01.83 GB+14.2 GB≤434天花板
Llama 3.2 1B Instruct1BQ8_01.51 GB+14.5 GB≤538天花板
Qwen3.5 0.8B0.8BQ8_00.94 GB+15.1 GB≤830天花板
Qwen2.5 0.5B Instruct0.5BQ8_00.6 GB+15.4 GB≤1371天花板

这个列表是怎么算出来的

每一行取该模型中困惑度损失最低、且预估总量（权重 + 4K 上下文下的 KV 缓存 + 激活缓冲）不超过显存 88% 的量化档位。88% 是计算器的"绿色"阈值，因此这里每一行都留有真实余量，而不是刚好装下。提高上下文长度，列表会变短；计算器可直接验证任意组合。速度一列是这张卡自己的：实测、按这张卡的 Llama 2 7B 跑分缩放出来的范围，或带宽天花板。只有 RTX 4090 上才有的数字会标明是那张卡。

另有 11 个模型能加载但不留余量（占用至多为显存的 105%）—— 模型库的显卡快捷筛选把它们也计入，因此那里的数字更大。

在显存计算器中打开这张卡 感受这个速度 浏览全部 110 个模型

在这张卡上的实测数据

本索引中没有在 RTX 4070 Ti Super 上跑出的基准记录。本页所有数字都是根据模型架构与量化档位计算得出的估算，不是实测值。

显存预算相同的显卡

能装下什么由显存决定，所以同类型的每张 16GB 显卡返回的列表都一样。这几个页面给出的不是不同答案 —— 它们的差别在吞吐，而本索引并未逐卡实测吞吐。

同样是 16GB，但放在系统内存里是另一台机器 —— 本页所有模型都「装得下」，速度却由内存通道决定，而不是显卡总线： 16 GB RAM (CPU)

能装的模型一样，速度不一样——让同一句话在两张卡上并排流出来： RTX 4070 Ti Super 对比 RTX 5080（Qwen3 14B Instruct） · RTX 4070 Ti Super 对比 RTX 5070 Ti（Qwen3 14B Instruct） · RTX 4070 Ti Super 对比 RTX 5060 Ti 16G（Qwen3 14B Instruct）

这张卡的部署指南

针对 RTX 4070 Ti Super 的运行时或显存容量编写的分步指南，包括具体命令，以及确认模型确实跑在这张卡上的检查方法。

再往上一档

RTX 4090（24GB）比这张卡多装下 21 个索引内的模型。 RTX 4090 →

买之前，先用两张卡都装得下的模型听听速度差多少： RTX 4070 Ti Super 对比 RTX 4090（Qwen3 14B Instruct） →

常见问题

RTX 4070 Ti Super 上最适合本地运行的大模型是哪个？

日常使用推荐 Stable LM 2 12B Chat（Q4_K_M）—— 在 4K 上下文下约占这张卡 16 GB 中的 8.3 GB，还剩 7.7 GB 给更长的窗口。如果你要的是能加载的最大模型，那是 Mistral Small 24B Instruct（AWQ INT4，约 13.2 GB，余量 2.8 GB）。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准，无法告诉你哪个模型更聪明。

RTX 4070 Ti Super 能跑 Gemma 4 26B-A4B IT 吗？

勉强。它在本索引中最小的构建 Q4_K_M 约需 16.4 GB，而这张卡可用约 16.0 GB —— 在没有其他程序占用时能加载，但没有任何余量留给更长的上下文。上面的清单里没有它，因为那份清单要求模型占用不超过可用显存的 88%。

RTX 4070 Ti Super 跑 8B 模型的 Q4 量化大概有多少 tok/s？

本索引没有这张卡的实测记录，因此不公布具体数字。可以从规格推出的是：生成一个 token 需要把每个权重都读一遍，Llama 3.1 8B Instruct 在 Q4_K_M 下权重为 4.6 GB，而这张卡的带宽是 672 GB/s —— 上限约 145 tok/s。批大小、上下文长度、运行时以及缓存命中情况都会把实际值压到这个数以下。

本地跑大模型，RTX 4070 Ti Super 还是 RTX 5080？

两张卡装得下的模型相同：16 GB 与 16 GB 在 4K 下分别可从容运行 110 个中的 63 个与 63 个。差别在吞吐 —— 672 GB/s 对 960 GB/s，读取权重的速度相差 1.4 倍，而 token 生成正是受此限制。两张卡都装得下的模型，RTX 5080 生成更快。

在 16GB、4K 上下文下，索引中 110 个模型有 63 个可从容运行，各自取仍留有余量的最高质量档位。

本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-10-18 RSS → /zh/feed.xml