RTX 5050 能跑哪些大模型？
在 8GB、4K 上下文下，索引中 87 个模型有 36 个可从容运行，各自取仍留有余量的最高质量档位。
RTX 5050 的简短答案
8 GB，带宽未列出。索引中 87 个模型里有 36 个能在 4K 上下文下从容运行，43 个至少能加载。
- 能装下的最大模型
- Stable LM 2 12B Chat — AWQ INT4 下约 7.0 GB —— 4K 时仅剩 1.0 GB，上下文再拉长就要动用这点余量。
- 留有余量的选择
- Qwen3 4B Instruct — Q6_K 下约 4.0 GB —— 占用不到显存的 60%，留下 4.0 GB 给长上下文或第二个进程。
- 你会先撞到的墙
- 瓶颈是容量。87 个模型中有 36 个能在 4K 上下文下从容装进 8 GB，装不下的那些差的是好几个 GB，而不是一点零头。要改变这份清单，靠的是换更大容量的卡，而不是换量化档位。
14B · 4
| 模型 | 量化档位 | 预估显存 | 余量 | RTX 4090 上的 tok/s |
|---|---|---|---|---|
| Stable LM 2 12B Chat12B | AWQ INT4 | 7.01 GB | +1 GB | 142估算 |
| Solar 10.7B Instruct11B | AWQ INT4 | 6.42 GB | +1.6 GB | 168估算 |
| Falcon 3 10B Instruct10B | GPTQ INT4 | 6.12 GB | +1.9 GB | 155估算 |
| Gemma 2 9B Instruct9B | AWQ INT4 | 6.27 GB | +1.7 GB | 188估算 |
7B · 22
| 模型 | 量化档位 | 预估显存 | 余量 | RTX 4090 上的 tok/s |
|---|---|---|---|---|
| GLM-4-9B-Chat9B | Q4_K_M | 5.87 GB | +2.1 GB | 135估算 |
| Qwen3-VL 8B Instruct8B | Q4_K_M | 6.19 GB | +1.8 GB | 140社区 |
| Ministral 3 8B Instruct8B | Q5_K_M | 6.92 GB | +1.1 GB | — |
| Qwen2-VL 7B Instruct7B | Q4_K_M | 5.49 GB | +2.5 GB | 72估算 |
| Granite 3.1 8B Instruct8B | Q4_K_M | 5.88 GB | +2.1 GB | 142估算 |
| Qwen3 8B Instruct8B | EXL2 4.65bpw | 5.59 GB | +2.4 GB | 228 |
| Llama 3.1 8B Instruct8B | EXL2 4.65bpw | 5.43 GB | +2.6 GB | 235 |
| Nous Hermes 3 Llama 3.1 8B8B | EXL2 4.65bpw | 5.43 GB | +2.6 GB | 232估算 |
| Aya 23 8B8B | Q4_K_M | 5.64 GB | +2.4 GB | 145估算 |
| OpenChat 3.6 8B8B | EXL2 4.65bpw | 5.43 GB | +2.6 GB | 228估算 |
| DeepSeek-R1-Distill-Llama-8B8B | Q5_K_M | 6.51 GB | +1.5 GB | 128估算 |
| InternLM2 7B Chat7B | Q4_K_M | 5.45 GB | +2.6 GB | 148估算 |
| Qwen2.5 7B Instruct7B | Q6_K | 6.77 GB | +1.2 GB | 132 |
| Qwen2.5-Coder 7B Instruct7B | EXL2 4.65bpw | 4.87 GB | +3.1 GB | 248估算 |
| DeepSeek-R1-Distill-Qwen-7B7B | EXL2 4.65bpw | 4.87 GB | +3.1 GB | 210估算 |
| Gemma 4 E4B ITE4B | Q4_K_M | 4.88 GB | +3.1 GB | — |
| OLMo 2 7B Instruct7B | Q4_K_M | 6.82 GB | +1.2 GB | 150估算 |
| WizardLM-2 7B7B | Q4_K_M | 5.14 GB | +2.9 GB | 152估算 |
| Mistral 7B Instruct v0.37B | Q6_K | 6.75 GB | +1.3 GB | 135估算 |
| Zephyr 7B Beta7B | Q6_K | 6.75 GB | +1.3 GB | 132估算 |
| Gemma 4 E2B ITE2B | Q8_0 | 5.2 GB | +2.8 GB | — |
| Gemma 3 4B IT4B | Q8_0 | 5.05 GB | +3 GB | 145估算 |
≤3B · 10
| 模型 | 量化档位 | 预估显存 | 余量 | RTX 4090 上的 tok/s |
|---|---|---|---|---|
| Qwen3 4B Instruct4B | Q6_K | 4.05 GB | +4 GB | 145 |
| Phi-4 Mini Instruct3.8B | Q8_0 | 4.81 GB | +3.2 GB | 262估算 |
| Phi-3.5 Mini Instruct3.8B | Q8_0 | 5.89 GB | +2.1 GB | 255估算 |
| Llama 3.2 3B Instruct3B | Q8_0 | 4.05 GB | +4 GB | 285估算 |
| Qwen2.5 3B Instruct3B | Q8_0 | 3.59 GB | +4.4 GB | 290估算 |
| Gemma 2 2B Instruct2B | Q8_0 | 3.34 GB | +4.7 GB | 320估算 |
| Qwen3 1.7B Instruct1.7B | Q8_0 | 2.39 GB | +5.6 GB | 240估算 |
| Qwen2.5 1.5B Instruct1.5B | Q8_0 | 1.83 GB | +6.2 GB | 410估算 |
| Llama 3.2 1B Instruct1B | Q8_0 | 1.51 GB | +6.5 GB | 450估算 |
| Qwen2.5 0.5B Instruct0.5B | Q8_0 | 0.6 GB | +7.4 GB | 540估算 |
这个列表是怎么算出来的
每一行取该模型中困惑度损失最低、且预估总量（权重 + 4K 上下文下的 KV 缓存 + 激活缓冲）不超过显存 88% 的量化档位。88% 是计算器的"绿色"阈值，因此这里每一行都留有真实余量，而不是刚好装下。提高上下文长度，列表会变短；计算器可直接验证任意组合。
另有 7 个模型能加载但不留余量（占用至多为显存的 105%）—— 模型库的显卡快捷筛选把它们也计入，因此那里的数字更大。
在这张卡上的实测数据
本索引中没有在 RTX 5050 上跑出的基准记录。本页所有数字都是根据模型架构与量化档位计算得出的估算，不是实测值。 上面表格里的速度一列是 RTX 4090 上的数字，仅作参考，不是这张卡的速度。
显存预算相同的显卡
能装下什么由显存决定，所以同类型的每张 8GB 显卡返回的列表都一样。这几个页面给出的不是不同答案 —— 它们的差别在吞吐，而本索引并未逐卡实测吞吐。
再往上一档
RTX 3080 10G（10GB）比这张卡多装下 11 个索引内的模型。 RTX 3080 10G →
常见问题
RTX 5050 上最适合本地运行的大模型是哪个？
日常使用推荐 Qwen3 4B Instruct（Q6_K）—— 在 4K 上下文下约占这张卡 8 GB 中的 4.0 GB，还剩 4.0 GB 给更长的窗口。如果你要的是能加载的最大模型，那是 Stable LM 2 12B Chat（AWQ INT4，约 7.0 GB，余量 1.0 GB）。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准，无法告诉你哪个模型更聪明。
RTX 5050 能跑 Mistral Nemo 12B Instruct 吗？
勉强。它在本索引中最小的构建 AWQ INT4 约需 7.1 GB，而这张卡可用约 8.0 GB —— 在没有其他程序占用时能加载，但没有任何余量留给更长的上下文。上面的清单里没有它，因为那份清单要求模型占用不超过可用显存的 88%。
本地跑大模型，RTX 5050 还是 RTX 5060 Ti 8G？
两张卡装得下的模型相同：8 GB 与 8 GB 在 4K 下分别可从容运行 87 个中的 36 个与 36 个。本站没有同时记录两张卡的带宽，因此本页不就速度给出排序。
在 8GB、4K 上下文下，索引中 87 个模型有 36 个可从容运行，各自取仍留有余量的最高质量档位。
本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-10-02 RSS → /zh/feed.xml