32GB 显存
32 GB RAM (CPU) 能跑哪些大模型？
在 32GB、4K 上下文下，索引中 110 个模型有 86 个可从容运行，各自取仍留有余量的最高质量档位。
32 GB RAM (CPU) 的简短答案
32 GB，带宽未列出。索引中 110 个模型里有 86 个能在 4K 上下文下从容运行，89 个至少能加载。
- 能装下的最大模型
- Nemotron 3.5 Bolt 74B-A9B — IQ2_XXS 下约 23.1 GB —— 4K 时仅剩 9.0 GB，上下文再拉长就要动用这点余量。
- 留有余量的选择
- GLM-4.7-Flash — Q4_K_M 下约 19.2 GB —— 占用不到显存的 60%，留下 12.8 GB 给长上下文或第二个进程。
- 你会先撞到的墙
- 瓶颈是速度，不是容量。本页所有模型都「装得下」32 GB 系统内存，但 CPU 推理是通过 DDR 通道读取权重，而非显卡总线 —— 带宽通常不到独显的十分之一，而且取决于你的内存条配置，而不是内存总量。这也是本页不列带宽数字的原因。请把较小的条目视为实际可用范围，较大的条目视为「能加载」。
70B+ · 1
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Nemotron 3.5 Bolt 74B-A9B74B-A9B | IQ2_XXS | 23.05 GB | +9 GB | — |
32B · 28
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Seed-OSS 36B Instruct36B | Q5_K_M | 27.81 GB | +4.2 GB | — |
| Qwen3.6 35B-A3B35B-A3B | Q4_K_M | 23.38 GB | +8.6 GB | — |
| Command R 35B35B | Q4_K_M | 22.86 GB | +9.1 GB | 424090 参考 |
| Yi 1.5 34B Chat34B | Q4_K_M | 22.82 GB | +9.2 GB | 404090 参考 |
| Qwen3 32B Instruct32B | Q4_K_M | 21.85 GB | +10.1 GB | 424090 参考 |
| Qwen2.5 32B Instruct32B | Q4_K_M | 21.69 GB | +10.3 GB | 444090 参考 |
| Qwen2.5-Coder 32B Instruct32B | Q4_K_M | 21.69 GB | +10.3 GB | 444090 参考 |
| DeepSeek-R1-Distill-Qwen-32B32B | Q4_K_M | 21.69 GB | +10.3 GB | 424090 参考 |
| Nemotron 3.5 Lightning 30B-A3B30B-A3B | Q4_0 | 19.79 GB | +12.2 GB | — |
| Gemma 4 31B IT31B | Q4_K_M | 21.08 GB | +10.9 GB | — |
| Qwen3 30B-A3B Instruct30B-A3B | Q5_K_M | 23.04 GB | +9 GB | 824090 参考 |
| Qwen3-Coder 30B-A3B Instruct30B-A3B | Q5_K_M | 23.04 GB | +9 GB | 804090 参考 |
| Qwen3-VL 30B-A3B Instruct30B-A3B | Q4_K_M | 19.73 GB | +12.3 GB | 954090 参考 |
| GLM-4.7-Flash30B-A3B | Q4_K_M | 19.19 GB | +12.8 GB | — |
| Granite 4.2 30B30B | Q6_K | 26.19 GB | +5.8 GB | — |
| Muse Glimmer 30B30B | Q6_K | 24.61 GB | +7.4 GB | — |
| Qwen3.8 27B27B | Q4_K_M | 17.47 GB | +14.5 GB | — |
| Qwen3.6 27B27B | Q5_K_M | 22.19 GB | +9.8 GB | — |
| Gemma 3 27B IT27B | Q4_K_M | 18.37 GB | +13.6 GB | 484090 参考 |
| Gemma 2 27B Instruct27B | Q5_K_M | 21.76 GB | +10.2 GB | 424090 参考 |
| Gemma 4 26B-A4B IT26B-A4B | Q4_K_M | 16.39 GB | +15.6 GB | — |
| Mistral Small 24B Instruct24B | Q4_K_M | 15.89 GB | +16.1 GB | 624090 参考 |
| LFM2.5 24B-A2B24B-A2B | Q8_0 | 26.73 GB | +5.3 GB | — |
| Devstral Small 1.1 24B24B | Q6_K | 20.91 GB | +11.1 GB | 484090 参考 |
| Magistral Small 1.2 24B24B | Q6_K | 20.91 GB | +11.1 GB | 474090 参考 |
| Codestral 22B22B | Q4_K_M | 15.03 GB | +17 GB | 584090 参考 |
| ERNIE 4.5 21B-A3B21B-A3B | Q8_0 | 24.44 GB | +7.6 GB | — |
| GPT-OSS 20B21B MoE | MXFP4 | 12.76 GB | +19.2 GB | 1954090 参考 |
14B · 18
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| InternLM2 20B Chat20B | Q5_K_M | 15.59 GB | +16.4 GB | 684090 参考 |
| DeepSeek-Coder-V2-Lite Instruct16B-A2.4B | Q8_0 | 17.56 GB | +14.4 GB | 1184090 参考 |
| DeepSeek-V2-Lite Chat16B-A2.4B | Q4_K_M | 10.08 GB | +21.9 GB | 1424090 参考 |
| StarCoder2 15B15B | Q4_K_M | 10.19 GB | +21.8 GB | 924090 参考 |
| Qwen3 14B Instruct14B | Q5_K_M | 11.65 GB | +20.4 GB | 784090 参考 |
| Qwen2.5 14B Instruct14B | Q5_K_M | 11.73 GB | +20.3 GB | 864090 参考 |
| DeepSeek-R1-Distill-Qwen-14B14B | Q4_K_M | 10.14 GB | +21.9 GB | 954090 参考 |
| Phi-4 14B14B | Q5_K_M | 11.77 GB | +20.2 GB | 784090 参考 |
| Phi-3 Medium 14B Instruct14B | Q6_K | 12.86 GB | +19.1 GB | 884090 参考 |
| Mistral Nemo 12B Instruct12B | Q6_K | 11.14 GB | +20.9 GB | 954090 参考 |
| Gemma 3 12B IT12B | Q5_K_M | 9.84 GB | +22.2 GB | 924090 参考 |
| Mellum2.1 12B-A2.5B Thinking12B-A2.5B | Q8_0 | 13.6 GB | +18.4 GB | — |
| Stable LM 2 12B Chat12B | Q4_K_M | 8.35 GB | +23.7 GB | 1084090 参考 |
| Llama 3.2 11B Vision Instruct11B | Q8_0 | 12.9 GB | +19.1 GB | 724090 参考 |
| Solar 10.7B Instruct11B | Q4_K_M | 7.6 GB | +24.4 GB | 1254090 参考 |
| Falcon 3 10B Instruct10B | Q4_K_M | 7.28 GB | +24.7 GB | 1184090 参考 |
| Gemma 2 9B Instruct9B | Q8_0 | 11.7 GB | +20.3 GB | 1084090 参考 |
| Qwen3.5 9B9B | Q8_0 | 10.37 GB | +21.6 GB | — |
7B · 25
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| GLM-4-9B-Chat9B | Q8_0 | 10.16 GB | +21.8 GB | 1054090 参考 |
| Qwen3-VL 8B Instruct8B | Q8_0 | 10.39 GB | +21.6 GB | 1084090 参考 |
| Granite 4.2 8B8B | Q8_0 | 10.45 GB | +21.6 GB | — |
| Ministral 3 8B Instruct8B | Q8_0 | 10.02 GB | +22 GB | — |
| Qwen2-VL 7B Instruct7B | Q4_K_M | 5.49 GB | +26.5 GB | 724090 参考 |
| Granite 3.1 8B Instruct8B | Q4_K_M | 5.88 GB | +26.1 GB | 1424090 参考 |
| Qwen3 8B Instruct8B | Q6_K | 7.64 GB | +24.4 GB | 1224090 参考 |
| Llama 3.1 8B Instruct8B | Q8_0 | 9.47 GB | +22.5 GB | 1184090 参考 |
| Nous Hermes 3 Llama 3.1 8B8B | Q4_K_M | 5.64 GB | +26.4 GB | 1484090 参考 |
| Aya 23 8B8B | Q4_K_M | 5.64 GB | +26.4 GB | 1454090 参考 |
| OpenChat 3.6 8B8B | Q4_K_M | 5.64 GB | +26.4 GB | 1464090 参考 |
| DeepSeek-R1-Distill-Llama-8B8B | Q5_K_M | 6.51 GB | +25.5 GB | 1284090 参考 |
| InternLM2 7B Chat7B | Q4_K_M | 5.45 GB | +26.6 GB | 1484090 参考 |
| Qwen2.5 7B Instruct7B | Q6_K | 6.77 GB | +25.2 GB | 1324090 参考 |
| Qwen2.5-Coder 7B Instruct7B | Q4_K_M | 5.07 GB | +26.9 GB | 1584090 参考 |
| DeepSeek-R1-Distill-Qwen-7B7B | Q4_K_M | 5.07 GB | +26.9 GB | 1524090 参考 |
| Gemma 4 E4B ITE4B | Q8_0 | 8.46 GB | +23.5 GB | — |
| OLMo 2 7B Instruct7B | Q8_0 | 10.3 GB | +21.7 GB | 1254090 参考 |
| OLMo 3 7B Instruct7B | Q8_0 | 10.3 GB | +21.7 GB | — |
| WizardLM-2 7B7B | Q4_K_M | 5.14 GB | +26.9 GB | 1524090 参考 |
| Mistral 7B Instruct v0.37B | Q6_K | 6.75 GB | +25.3 GB | 1354090 参考 |
| Zephyr 7B Beta7B | Q6_K | 6.75 GB | +25.3 GB | 1324090 参考 |
| Gemma 4 E2B ITE2B | Q8_0 | 5.2 GB | +26.8 GB | — |
| Qwen3.5 4B4B | Q8_0 | 4.97 GB | +27 GB | — |
| Gemma 3 4B IT4B | Q8_0 | 5.05 GB | +27 GB | 1454090 参考 |
≤3B · 14
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Qwen3 4B Instruct4B | Q6_K | 4.05 GB | +28 GB | 1454090 参考 |
| Phi-4 Mini Instruct3.8B | Q8_0 | 4.81 GB | +27.2 GB | 2624090 参考 |
| Phi-3.5 Mini Instruct3.8B | Q8_0 | 5.89 GB | +26.1 GB | 2554090 参考 |
| Granite 4.2 3B3B | Q8_0 | 4.41 GB | +27.6 GB | — |
| Llama 3.2 3B Instruct3B | Q8_0 | 4.05 GB | +28 GB | 2854090 参考 |
| Qwen2.5 3B Instruct3B | Q8_0 | 3.59 GB | +28.4 GB | 2904090 参考 |
| SmolLM3 3B3B | Q8_0 | 3.73 GB | +28.3 GB | — |
| Gemma 2 2B Instruct2B | Q8_0 | 3.34 GB | +28.7 GB | 3204090 参考 |
| Qwen3.5 2B2B | Q8_0 | 2.23 GB | +29.8 GB | — |
| Qwen3 1.7B Instruct1.7B | Q8_0 | 2.39 GB | +29.6 GB | 2404090 参考 |
| Qwen2.5 1.5B Instruct1.5B | Q8_0 | 1.83 GB | +30.2 GB | 4104090 参考 |
| Llama 3.2 1B Instruct1B | Q8_0 | 1.51 GB | +30.5 GB | 4504090 参考 |
| Qwen3.5 0.8B0.8B | Q8_0 | 0.94 GB | +31.1 GB | — |
| Qwen2.5 0.5B Instruct0.5B | Q8_0 | 0.6 GB | +31.4 GB | 5404090 参考 |
这个列表是怎么算出来的
每一行取该模型中困惑度损失最低、且预估总量（权重 + 4K 上下文下的 KV 缓存 + 激活缓冲）不超过显存 88% 的量化档位。88% 是计算器的"绿色"阈值，因此这里每一行都留有真实余量，而不是刚好装下。提高上下文长度，列表会变短；计算器可直接验证任意组合。速度一列是这张卡自己的：实测、按这张卡的 Llama 2 7B 跑分缩放出来的范围，或带宽天花板。只有 RTX 4090 上才有的数字会标明是那张卡。
另有 3 个模型能加载但不留余量（占用至多为显存的 105%）—— 模型库的显卡快捷筛选把它们也计入，因此那里的数字更大。
在这张卡上的实测数据
本索引中没有在 32 GB RAM (CPU) 上跑出的基准记录。本页所有数字都是根据模型架构与量化档位计算得出的估算，不是实测值。
这张卡的部署指南
针对 32 GB RAM (CPU) 的运行时或显存容量编写的分步指南，包括具体命令，以及确认模型确实跑在这张卡上的检查方法。
再往上一档
64 GB RAM (CPU)（64GB）比这张卡多装下 10 个索引内的模型。 64 GB RAM (CPU) →
常见问题
32 GB RAM (CPU) 上最适合本地运行的大模型是哪个？
日常使用推荐 GLM-4.7-Flash（Q4_K_M）—— 在 4K 上下文下约占这张卡 32 GB 中的 19.2 GB，还剩 12.8 GB 给更长的窗口。如果你要的是能加载的最大模型，那是 Nemotron 3.5 Bolt 74B-A9B（IQ2_XXS，约 23.1 GB，余量 9.0 GB）。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准，无法告诉你哪个模型更聪明。
32 GB RAM (CPU) 能跑 Llama 3.2 90B Vision Instruct 吗？
不能。它在本索引中最小的构建 Q3_K_M 约需 46.2 GB，而这张卡可用约 32.0 GB —— 在 4K 之外的上下文还没算上之前就已经差了 14.2 GB。这张卡能从容运行的最大模型是 Nemotron 3.5 Bolt 74B-A9B。
本地跑大模型，32 GB RAM (CPU) 还是 16 GB RAM (CPU)？
两者装得下的模型并不相同：4K 下 32 GB RAM (CPU) 可从容运行 110 个中的 86 个，16 GB RAM (CPU) 为 59 个。本站没有同时记录两张卡的带宽，因此本页不就速度给出排序。
在 32GB、4K 上下文下，索引中 110 个模型有 86 个可从容运行，各自取仍留有余量的最高质量档位。
本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-10-18 RSS → /zh/feed.xml