Mac M3 Pro 36G 能跑哪些大模型？
在 36GB、4K 上下文下，索引中 110 个模型有 86 个可从容运行，各自取仍留有余量的最高质量档位。
Mac M3 Pro 36G 的简短答案
36 GB，150 GB/s Unified LPDDR5。索引中 110 个模型里有 86 个能在 4K 上下文下从容运行，86 个至少能加载。
- 能装下的最大模型
- Nemotron 3.5 Bolt 74B-A9B — IQ2_XXS 下约 23.1 GB —— 4K 时仅剩 3.9 GB，上下文再拉长就要动用这点余量。
- 留有余量的选择
- Mistral Small 24B Instruct — Q4_K_M 下约 15.9 GB —— 占用不到显存的 60%，留下 11.1 GB 给长上下文或第二个进程。
- 速度上限
- Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 150 GB/s 给出的硬上限约为 32 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录，因此无法与这个上限对照。
- 你会先撞到的墙
- 瓶颈是 GPU 能用到的那部分统一内存，而不是标称的 36 GB。macOS 会为系统保留一部分，并限制单个进程可以锁定的内存量，因此实际预算明显低于标称值 —— 这个上限可以调整（`iogpu.wired_limit_mb`），但它确实存在。带宽为 150 GB/s，模型装下之后，决定 tok/s 的就是这个数字。
70B+ · 1
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Nemotron 3.5 Bolt 74B-A9B74B-A9B | IQ2_XXS | 23.05 GB | +3.9 GB | ≤59天花板 |
32B · 28
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Seed-OSS 36B Instruct36B | Q3_K_M | 19.3 GB | +7.7 GB | ≤9天花板 |
| Qwen3.6 35B-A3B35B-A3B | Q4_K_M | 23.38 GB | +3.6 GB | ≤84天花板 |
| Command R 35B35B | Q4_K_M | 22.86 GB | +4.1 GB | ≤7天花板 |
| Yi 1.5 34B Chat34B | Q4_K_M | 22.82 GB | +4.2 GB | ≤8天花板 |
| Qwen3 32B Instruct32B | Q4_K_M | 21.85 GB | +5.1 GB | 6–8推算 |
| Qwen2.5 32B Instruct32B | Q4_K_M | 21.69 GB | +5.3 GB | 6–8推算 |
| Qwen2.5-Coder 32B Instruct32B | Q4_K_M | 21.69 GB | +5.3 GB | 6–8推算 |
| DeepSeek-R1-Distill-Qwen-32B32B | Q4_K_M | 21.69 GB | +5.3 GB | 6–8推算 |
| Nemotron 3.5 Lightning 30B-A3B30B-A3B | Q4_0 | 19.79 GB | +7.2 GB | ≤88天花板 |
| Gemma 4 31B IT31B | Q4_K_M | 21.08 GB | +5.9 GB | 6–8推算 |
| Qwen3 30B-A3B Instruct30B-A3B | Q5_K_M | 23.04 GB | +4 GB | ≤74天花板 |
| Qwen3-Coder 30B-A3B Instruct30B-A3B | Q5_K_M | 23.04 GB | +4 GB | ≤74天花板 |
| Qwen3-VL 30B-A3B Instruct30B-A3B | Q4_K_M | 19.73 GB | +7.3 GB | ≤87天花板 |
| GLM-4.7-Flash30B-A3B | Q4_K_M | 19.19 GB | +7.8 GB | ≤87天花板 |
| Granite 4.2 30B30B | Q5_K_M | 22.82 GB | +4.2 GB | 6–7推算 |
| Muse Glimmer 30B30B | Q5_K_M | 21.19 GB | +5.8 GB | 6–8推算 |
| Qwen3.8 27B27B | Q4_K_M | 17.47 GB | +9.5 GB | 7–9推算 |
| Qwen3.6 27B27B | Q5_K_M | 22.19 GB | +4.8 GB | 6–7推算 |
| Gemma 3 27B IT27B | Q4_K_M | 18.37 GB | +8.6 GB | 7–9推算 |
| Gemma 2 27B Instruct27B | Q5_K_M | 21.76 GB | +5.2 GB | 6–8推算 |
| Gemma 4 26B-A4B IT26B-A4B | Q4_K_M | 16.39 GB | +10.6 GB | ≤65天花板 |
| Mistral Small 24B Instruct24B | Q4_K_M | 15.89 GB | +11.1 GB | 8–11推算 |
| LFM2.5 24B-A2B24B-A2B | Q4_K_M | 15.27 GB | +11.7 GB | ≤106天花板 |
| Devstral Small 1.1 24B24B | Q6_K | 20.91 GB | +6.1 GB | 6–8推算 |
| Magistral Small 1.2 24B24B | Q6_K | 20.91 GB | +6.1 GB | 6–8推算 |
| Codestral 22B22B | Q4_K_M | 15.03 GB | +12 GB | 9–11推算 |
| ERNIE 4.5 21B-A3B21B-A3B | Q4_K_M | 14.05 GB | +13 GB | ≤87天花板 |
| GPT-OSS 20B21B MoE | MXFP4 | 12.76 GB | +14.2 GB | ≤76天花板 |
14B · 18
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| InternLM2 20B Chat20B | Q5_K_M | 15.59 GB | +11.4 GB | 8–11推算 |
| DeepSeek-Coder-V2-Lite Instruct16B-A2.4B | Q8_0 | 17.56 GB | +9.4 GB | ≤62天花板 |
| DeepSeek-V2-Lite Chat16B-A2.4B | Q4_K_M | 10.08 GB | +16.9 GB | ≤109天花板 |
| StarCoder2 15B15B | Q4_K_M | 10.19 GB | +16.8 GB | 13–17推算 |
| Qwen3 14B Instruct14B | Q5_K_M | 11.65 GB | +15.4 GB | 11–15推算 |
| Qwen2.5 14B Instruct14B | Q5_K_M | 11.73 GB | +15.3 GB | 11–15推算 |
| DeepSeek-R1-Distill-Qwen-14B14B | Q4_K_M | 10.14 GB | +16.9 GB | 13–17推算 |
| Phi-4 14B14B | Q5_K_M | 11.77 GB | +15.2 GB | 11–15推算 |
| Phi-3 Medium 14B Instruct14B | Q6_K | 12.86 GB | +14.1 GB | 10–13推算 |
| Mistral Nemo 12B Instruct12B | Q6_K | 11.14 GB | +15.9 GB | 12–15推算 |
| Gemma 3 12B IT12B | Q5_K_M | 9.84 GB | +17.2 GB | 13–18推算 |
| Mellum2.1 12B-A2.5B Thinking12B-A2.5B | Q8_0 | 13.6 GB | +13.4 GB | ≤60天花板 |
| Stable LM 2 12B Chat12B | Q4_K_M | 8.35 GB | +18.7 GB | 16–21推算 |
| Llama 3.2 11B Vision Instruct11B | Q8_0 | 12.9 GB | +14.1 GB | 10–13推算 |
| Solar 10.7B Instruct11B | Q4_K_M | 7.6 GB | +19.4 GB | 18–24推算 |
| Falcon 3 10B Instruct10B | Q4_K_M | 7.28 GB | +19.7 GB | 18–24推算 |
| Gemma 2 9B Instruct9B | Q8_0 | 11.7 GB | +15.3 GB | 12–16推算 |
| Qwen3.5 9B9B | Q8_0 | 10.37 GB | +16.6 GB | 12–16推算 |
7B · 25
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| GLM-4-9B-Chat9B | Q8_0 | 10.16 GB | +16.8 GB | 12–16推算 |
| Qwen3-VL 8B Instruct8B | Q8_0 | 10.39 GB | +16.6 GB | 12–16推算 |
| Granite 4.2 8B8B | Q8_0 | 10.45 GB | +16.6 GB | 12–16推算 |
| Ministral 3 8B Instruct8B | Q8_0 | 10.02 GB | +17 GB | 13–17推算 |
| Qwen2-VL 7B Instruct7B | Q4_K_M | 5.49 GB | +21.5 GB | 23–31推算 |
| Granite 3.1 8B Instruct8B | Q4_K_M | 5.88 GB | +21.1 GB | 23–31推算 |
| Qwen3 8B Instruct8B | Q6_K | 7.64 GB | +19.4 GB | 17–23推算 |
| Llama 3.1 8B Instruct8B | Q8_0 | 9.47 GB | +17.5 GB | 14–18推算 |
| Nous Hermes 3 Llama 3.1 8B8B | Q4_K_M | 5.64 GB | +21.4 GB | 24–32推算 |
| Aya 23 8B8B | Q4_K_M | 5.64 GB | +21.4 GB | 24–32推算 |
| OpenChat 3.6 8B8B | Q4_K_M | 5.64 GB | +21.4 GB | 24–32推算 |
| DeepSeek-R1-Distill-Llama-8B8B | Q5_K_M | 6.51 GB | +20.5 GB | 20–27推算 |
| InternLM2 7B Chat7B | Q4_K_M | 5.45 GB | +21.6 GB | 25–33推算 |
| Qwen2.5 7B Instruct7B | Q6_K | 6.77 GB | +20.2 GB | 19–25推算 |
| Qwen2.5-Coder 7B Instruct7B | Q4_K_M | 5.07 GB | +21.9 GB | 25–33推算 |
| DeepSeek-R1-Distill-Qwen-7B7B | Q4_K_M | 5.07 GB | +21.9 GB | 25–33推算 |
| Gemma 4 E4B ITE4B | Q8_0 | 8.46 GB | +18.5 GB | 15–19推算 |
| OLMo 2 7B Instruct7B | Q8_0 | 10.3 GB | +16.7 GB | 15–20推算 |
| OLMo 3 7B Instruct7B | Q8_0 | 10.3 GB | +16.7 GB | 15–20推算 |
| WizardLM-2 7B7B | Q4_K_M | 5.14 GB | +21.9 GB | 26–35推算 |
| Mistral 7B Instruct v0.37B | Q6_K | 6.75 GB | +20.3 GB | 20–26推算 |
| Zephyr 7B Beta7B | Q6_K | 6.75 GB | +20.3 GB | 20–26推算 |
| Gemma 4 E2B ITE2B | Q8_0 | 5.2 GB | +21.8 GB | ≤32天花板 |
| Qwen3.5 4B4B | Q8_0 | 4.97 GB | +22 GB | ≤34天花板 |
| Gemma 3 4B IT4B | Q8_0 | 5.05 GB | +22 GB | ≤35天花板 |
≤3B · 14
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Qwen3 4B Instruct4B | Q6_K | 4.05 GB | +23 GB | ≤48天花板 |
| Phi-4 Mini Instruct3.8B | Q8_0 | 4.81 GB | +22.2 GB | ≤39天花板 |
| Phi-3.5 Mini Instruct3.8B | Q8_0 | 5.89 GB | +21.1 GB | ≤39天花板 |
| Granite 4.2 3B3B | Q8_0 | 4.41 GB | +22.6 GB | ≤41天花板 |
| Llama 3.2 3B Instruct3B | Q8_0 | 4.05 GB | +23 GB | ≤46天花板 |
| Qwen2.5 3B Instruct3B | Q8_0 | 3.59 GB | +23.4 GB | ≤48天花板 |
| SmolLM3 3B3B | Q8_0 | 3.73 GB | +23.3 GB | ≤48天花板 |
| Gemma 2 2B Instruct2B | Q8_0 | 3.34 GB | +23.7 GB | ≤57天花板 |
| Qwen3.5 2B2B | Q8_0 | 2.23 GB | +24.8 GB | ≤76天花板 |
| Qwen3 1.7B Instruct1.7B | Q8_0 | 2.39 GB | +24.6 GB | ≤86天花板 |
| Qwen2.5 1.5B Instruct1.5B | Q8_0 | 1.83 GB | +25.2 GB | ≤97天花板 |
| Llama 3.2 1B Instruct1B | Q8_0 | 1.51 GB | +25.5 GB | ≤120天花板 |
| Qwen3.5 0.8B0.8B | Q8_0 | 0.94 GB | +26.1 GB | ≤185天花板 |
| Qwen2.5 0.5B Instruct0.5B | Q8_0 | 0.6 GB | +26.4 GB | ≤306天花板 |
这个列表是怎么算出来的
每一行取该模型中困惑度损失最低、且预估总量（权重 + 4K 上下文下的 KV 缓存 + 激活缓冲）不超过显存 88% 的量化档位。88% 是计算器的"绿色"阈值，因此这里每一行都留有真实余量，而不是刚好装下。提高上下文长度，列表会变短；计算器可直接验证任意组合。速度一列是这张卡自己的：实测、按这张卡的 Llama 2 7B 跑分缩放出来的范围，或带宽天花板。只有 RTX 4090 上才有的数字会标明是那张卡。
在这张卡上的实测数据
本索引中没有在 Mac M3 Pro 36G 上跑出的基准记录。本页所有数字都是根据模型架构与量化档位计算得出的估算，不是实测值。
显存预算相同的显卡
能装下什么由显存决定，所以同类型的每张 36GB 显卡返回的列表都一样。这几个页面给出的不是不同答案 —— 它们的差别在吞吐，而本索引并未逐卡实测吞吐。
能装的模型一样，速度不一样——让同一句话在两张卡上并排流出来： Mac M3 Pro 36G 对比 Mac M4 Max 36G（Qwen3 32B Instruct）
这张卡的部署指南
针对 Mac M3 Pro 36G 的运行时或显存容量编写的分步指南，包括具体命令，以及确认模型确实跑在这张卡上的检查方法。
再往上一档
Mac M4 Pro 48G（48GB）比这张卡多装下 2 个索引内的模型。 Mac M4 Pro 48G →
买之前，先用两张卡都装得下的模型听听速度差多少： Mac M3 Pro 36G 对比 Mac M4 Pro 48G（Qwen3 32B Instruct） →
常见问题
Mac M3 Pro 36G 上最适合本地运行的大模型是哪个？
日常使用推荐 Mistral Small 24B Instruct（Q4_K_M）—— 在 4K 上下文下约占这张卡 36 GB 中的 15.9 GB，还剩 11.1 GB 给更长的窗口。如果你要的是能加载的最大模型，那是 Nemotron 3.5 Bolt 74B-A9B（IQ2_XXS，约 23.1 GB，余量 3.9 GB）。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准，无法告诉你哪个模型更聪明。
Mac M3 Pro 36G 能跑 Llama 3.2 90B Vision Instruct 吗？
不能。它在本索引中最小的构建 Q3_K_M 约需 46.2 GB，而这张卡可用约 27.0 GB —— 在 4K 之外的上下文还没算上之前就已经差了 19.2 GB。这张卡能从容运行的最大模型是 Nemotron 3.5 Bolt 74B-A9B。
Mac M3 Pro 36G 跑 8B 模型的 Q4 量化大概有多少 tok/s？
本索引没有这张卡的实测记录，因此不公布具体数字。可以从规格推出的是：生成一个 token 需要把每个权重都读一遍，Llama 3.1 8B Instruct 在 Q4_K_M 下权重为 4.6 GB，而这张卡的带宽是 150 GB/s —— 上限约 32 tok/s。批大小、上下文长度、运行时以及缓存命中情况都会把实际值压到这个数以下。
本地跑大模型，Mac M3 Pro 36G 还是 Mac M4 Max 36G？
两张卡装得下的模型相同：36 GB 与 36 GB 在 4K 下分别可从容运行 110 个中的 86 个与 86 个。差别在吞吐 —— 150 GB/s 对 410 GB/s，读取权重的速度相差 2.7 倍，而 token 生成正是受此限制。两张卡都装得下的模型，Mac M4 Max 36G 生成更快。
在 36GB、4K 上下文下，索引中 110 个模型有 86 个可从容运行，各自取仍留有余量的最高质量档位。
本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-10-18 RSS → /zh/feed.xml