RTX 3080 10G 能跑哪些大模型？
在 10GB、4K 上下文下，索引中 110 个模型有 56 个可从容运行，各自取仍留有余量的最高质量档位。
RTX 3080 10G 的简短答案
10 GB，760 GB/s GDDR6X。索引中 110 个模型里有 56 个能在 4K 上下文下从容运行，56 个至少能加载。
- 能装下的最大模型
- DeepSeek-Coder-V2-Lite Instruct — AWQ INT4 下约 8.3 GB —— 4K 时仅剩 1.7 GB，上下文再拉长就要动用这点余量。
- 留有余量的选择
- GLM-4-9B-Chat — Q4_K_M 下约 5.9 GB —— 占用不到显存的 60%，留下 4.1 GB 给长上下文或第二个进程。
- 速度上限
- Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 760 GB/s 给出的硬上限约为 165 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录，因此无法与这个上限对照。
- 你会先撞到的墙
- 瓶颈是容量。110 个模型中有 56 个能在 4K 上下文下从容装进 10 GB，装不下的那些差的是好几个 GB，而不是一点零头 —— 在 760 GB/s 下，限制这张卡的并不是显存子系统。要改变这份清单，靠的是换更大容量的卡，而不是换量化档位。
14B · 17
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| DeepSeek-Coder-V2-Lite Instruct16B-A2.4B | AWQ INT4 | 8.33 GB | +1.7 GB | ≤666天花板 |
| DeepSeek-V2-Lite Chat16B-A2.4B | AWQ INT4 | 8.33 GB | +1.7 GB | ≤666天花板 |
| StarCoder2 15B15B | GPTQ INT4 | 8.52 GB | +1.5 GB | ≤107天花板 |
| Qwen3 14B Instruct14B | AWQ INT4 | 8.4 GB | +1.6 GB | ≤108天花板 |
| Qwen2.5 14B Instruct14B | AWQ INT4 | 8.51 GB | +1.5 GB | ≤109天花板 |
| DeepSeek-R1-Distill-Qwen-14B14B | AWQ INT4 | 8.51 GB | +1.5 GB | ≤109天花板 |
| Phi-4 14B14B | AWQ INT4 | 8.54 GB | +1.5 GB | ≤109天花板 |
| Phi-3 Medium 14B Instruct14B | AWQ INT4 | 8.17 GB | +1.8 GB | ≤114天花板 |
| Mistral Nemo 12B Instruct12B | Q4_K_M | 8.42 GB | +1.6 GB | 71–95推算 |
| Gemma 3 12B IT12B | Q4_K_M | 8.52 GB | +1.5 GB | 71–95推算 |
| Mellum2.1 12B-A2.5B Thinking12B-A2.5B | Q4_K_M | 8.59 GB | +1.4 GB | ≤480天花板 |
| Stable LM 2 12B Chat12B | Q4_K_M | 8.35 GB | +1.7 GB | 72–95推算 |
| Llama 3.2 11B Vision Instruct11B | Q4_K_M | 7.66 GB | +2.3 GB | 79–105推算 |
| Solar 10.7B Instruct11B | Q4_K_M | 7.6 GB | +2.4 GB | 82–108推算 |
| Falcon 3 10B Instruct10B | Q4_K_M | 7.28 GB | +2.7 GB | 84–111推算 |
| Gemma 2 9B Instruct9B | Q4_K_M | 7.3 GB | +2.7 GB | 94–125推算 |
| Qwen3.5 9B9B | Q4_K_M | 6.58 GB | +3.4 GB | 86–113推算 |
7B · 25
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| GLM-4-9B-Chat9B | Q4_K_M | 5.87 GB | +4.1 GB | 97–128推算 |
| Qwen3-VL 8B Instruct8B | Q5_K_M | 7.15 GB | +2.8 GB | 85–112推算 |
| Granite 4.2 8B8B | Q4_K_M | 6.28 GB | +3.7 GB | 99–131推算 |
| Ministral 3 8B Instruct8B | Q5_K_M | 6.92 GB | +3.1 GB | 87–115推算 |
| Qwen2-VL 7B Instruct7B | Q4_K_M | 5.49 GB | +4.5 GB | 105–139推算 |
| Granite 3.1 8B Instruct8B | Q4_K_M | 5.88 GB | +4.1 GB | 106–141推算 |
| Qwen3 8B Instruct8B | Q6_K | 7.64 GB | +2.4 GB | 79–104推算 |
| Llama 3.1 8B Instruct8B | Q6_K | 7.43 GB | +2.6 GB | 80–106推算 |
| Nous Hermes 3 Llama 3.1 8B8B | EXL2 4.65bpw | 5.43 GB | +4.6 GB | ≤172天花板 |
| Aya 23 8B8B | Q4_K_M | 5.64 GB | +4.4 GB | 109–144推算 |
| OpenChat 3.6 8B8B | EXL2 4.65bpw | 5.43 GB | +4.6 GB | ≤172天花板 |
| DeepSeek-R1-Distill-Llama-8B8B | Q5_K_M | 6.51 GB | +3.5 GB | 93–123推算 |
| InternLM2 7B Chat7B | Q4_K_M | 5.45 GB | +4.6 GB | 113–149推算 |
| Qwen2.5 7B Instruct7B | Q6_K | 6.77 GB | +3.2 GB | 85–112推算 |
| Qwen2.5-Coder 7B Instruct7B | EXL2 4.65bpw | 4.87 GB | +5.1 GB | ≤181天花板 |
| DeepSeek-R1-Distill-Qwen-7B7B | EXL2 4.65bpw | 4.87 GB | +5.1 GB | ≤181天花板 |
| Gemma 4 E4B ITE4B | Q8_0 | 8.46 GB | +1.5 GB | 66–88推算 |
| OLMo 2 7B Instruct7B | Q4_K_M | 6.82 GB | +3.2 GB | 120–158推算 |
| OLMo 3 7B Instruct7B | Q4_K_M | 6.82 GB | +3.2 GB | 120–158推算 |
| WizardLM-2 7B7B | Q4_K_M | 5.14 GB | +4.9 GB | 120–159推算 |
| Mistral 7B Instruct v0.37B | Q6_K | 6.75 GB | +3.3 GB | 89–118推算 |
| Zephyr 7B Beta7B | Q6_K | 6.75 GB | +3.3 GB | 89–118推算 |
| Gemma 4 E2B ITE2B | Q8_0 | 5.2 GB | +4.8 GB | ≤162天花板 |
| Qwen3.5 4B4B | Q8_0 | 4.97 GB | +5 GB | ≤173天花板 |
| Gemma 3 4B IT4B | Q8_0 | 5.05 GB | +5 GB | ≤175天花板 |
≤3B · 14
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Qwen3 4B Instruct4B | Q6_K | 4.05 GB | +6 GB | ≤244天花板 |
| Phi-4 Mini Instruct3.8B | Q8_0 | 4.81 GB | +5.2 GB | ≤196天花板 |
| Phi-3.5 Mini Instruct3.8B | Q8_0 | 5.89 GB | +4.1 GB | ≤197天花板 |
| Granite 4.2 3B3B | Q8_0 | 4.41 GB | +5.6 GB | ≤206天花板 |
| Llama 3.2 3B Instruct3B | Q8_0 | 4.05 GB | +6 GB | ≤235天花板 |
| Qwen2.5 3B Instruct3B | Q8_0 | 3.59 GB | +6.4 GB | ≤244天花板 |
| SmolLM3 3B3B | Q8_0 | 3.73 GB | +6.3 GB | ≤244天花板 |
| Gemma 2 2B Instruct2B | Q8_0 | 3.34 GB | +6.7 GB | ≤289天花板 |
| Qwen3.5 2B2B | Q8_0 | 2.23 GB | +7.8 GB | ≤384天花板 |
| Qwen3 1.7B Instruct1.7B | Q8_0 | 2.39 GB | +7.6 GB | ≤437天花板 |
| Qwen2.5 1.5B Instruct1.5B | Q8_0 | 1.83 GB | +8.2 GB | ≤490天花板 |
| Llama 3.2 1B Instruct1B | Q8_0 | 1.51 GB | +8.5 GB | ≤608天花板 |
| Qwen3.5 0.8B0.8B | Q8_0 | 0.94 GB | +9.1 GB | ≤938天花板 |
| Qwen2.5 0.5B Instruct0.5B | Q8_0 | 0.6 GB | +9.4 GB | ≤1551天花板 |
这个列表是怎么算出来的
每一行取该模型中困惑度损失最低、且预估总量（权重 + 4K 上下文下的 KV 缓存 + 激活缓冲）不超过显存 88% 的量化档位。88% 是计算器的"绿色"阈值，因此这里每一行都留有真实余量，而不是刚好装下。提高上下文长度，列表会变短；计算器可直接验证任意组合。速度一列是这张卡自己的：实测、按这张卡的 Llama 2 7B 跑分缩放出来的范围，或带宽天花板。只有 RTX 4090 上才有的数字会标明是那张卡。
在这张卡上的实测数据
本索引中没有在 RTX 3080 10G 上跑出的基准记录。本页所有数字都是根据模型架构与量化档位计算得出的估算，不是实测值。
再往上一档
RTX 5080（16GB）比这张卡多装下 7 个索引内的模型。 RTX 5080 →
买之前，先用两张卡都装得下的模型听听速度差多少： RTX 3080 10G 对比 RTX 5080（Mistral Nemo 12B Instruct） →
常见问题
RTX 3080 10G 上最适合本地运行的大模型是哪个？
日常使用推荐 GLM-4-9B-Chat（Q4_K_M）—— 在 4K 上下文下约占这张卡 10 GB 中的 5.9 GB，还剩 4.1 GB 给更长的窗口。如果你要的是能加载的最大模型，那是 DeepSeek-Coder-V2-Lite Instruct（AWQ INT4，约 8.3 GB，余量 1.7 GB）。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准，无法告诉你哪个模型更聪明。
RTX 3080 10G 能跑 InternLM2 20B Chat 吗？
不能。它在本索引中最小的构建 Q4_K_M 约需 13.4 GB，而这张卡可用约 10.0 GB —— 在 4K 之外的上下文还没算上之前就已经差了 3.4 GB。这张卡能从容运行的最大模型是 DeepSeek-Coder-V2-Lite Instruct。
RTX 3080 10G 跑 8B 模型的 Q4 量化大概有多少 tok/s？
本索引没有这张卡的实测记录，因此不公布具体数字。可以从规格推出的是：生成一个 token 需要把每个权重都读一遍，Llama 3.1 8B Instruct 在 Q4_K_M 下权重为 4.6 GB，而这张卡的带宽是 760 GB/s —— 上限约 165 tok/s。批大小、上下文长度、运行时以及缓存命中情况都会把实际值压到这个数以下。
本地跑大模型，RTX 3080 10G 还是 RTX 5070？
两张卡装得下的模型相同：10 GB 与 12 GB 在 4K 下分别可从容运行 110 个中的 56 个与 56 个。差别在吞吐 —— 760 GB/s 对 672 GB/s，读取权重的速度相差 1.1 倍，而 token 生成正是受此限制。两张卡都装得下的模型，RTX 3080 10G 生成更快。
在 10GB、4K 上下文下，索引中 110 个模型有 56 个可从容运行，各自取仍留有余量的最高质量档位。
本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-10-18 RSS → /zh/feed.xml