Arc Pro B70 32G 能跑哪些大模型?
在 32GB、4K 上下文下,索引中 151 个模型有 123 个可从容运行,各自取仍留有余量的最高质量档位。
Arc Pro B70 32G 的简短答案
32 GB,608 GB/s GDDR6。索引中 151 个模型里有 123 个能在 4K 上下文下从容运行,126 个至少能加载。
- 能装下的最大模型
- Kolibri-1 78B-A3.5B — IQ2_XS 下约 25.6 GB —— 4K 时仅剩 6.4 GB,上下文再拉长就要动用这点余量。下载这个文件: bartowski/Kolibri-1-GGUF · Kolibri-1-IQ2_XS.gguf · 24.34 GB · 2026-11-12 核对
- 留有余量的选择
- Gemma 3 27B IT — Q4_K_M 下约 18.3 GB —— 占用不到显存的 60%,留下 13.7 GB 给长上下文或第二个进程。下载这个文件: bartowski/google_gemma-3-27b-it-GGUF · google_gemma-3-27b-it-Q4_K_M.gguf · 16.55 GB · 另需视觉投影 0.86 GB · 2026-11-03 核对
- 速度上限
- Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重,因此 608 GB/s 给出的硬上限约为 132 tok/s。这是两个公开数字的算术结果,不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录,因此无法与这个上限对照。
- 你会先撞到的墙
- 瓶颈是后端支持,不是容量。在 608 GB/s 下,这张卡的显存子系统与同容量级别相称;限制它的是哪些运行时能用上它。llama.cpp 的 SYCL 后端把 Arc A 系列和 B580 列为已验证,Ollama 通过 Vulkan 运行它们 —— 所以本站在这里推荐 GGUF 格式,不推荐 AWQ、GPTQ 和 EXL2。
50B+ · 3
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Kolibri-1 78B-A3.5B78B-A3.5B组合容量详情 | IQ2_XS | 25.59 GB | +6.4 GB | ≤588天花板 |
| Nemotron 3.5 Bolt 74B-A9B74B-A9B组合容量详情 | IQ2_XXS | 23.05 GB | +9 GB | ≤239天花板 |
| Ripple-65B-Preview65B组合容量详情 | IQ2_S | 27.18 GB | +4.8 GB | ≤25天花板 |
20–50B · 42
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Recursive Flint 40B-A2.5B40B-A2.5B组合容量详情 | Q4_K_M | 26.68 GB | +5.3 GB | ≤402天花板 |
| K2 Horizon MoVA 36B-A4B36B-A4B组合容量详情 | Q4_K_M | 24.21 GB | +7.8 GB | ≤268天花板 |
| Seed-OSS 36B Instruct36B组合容量详情 | Q5_K_M | 27.83 GB | +4.2 GB | ≤25天花板 |
| Qwen3.6 35B-A3B35B-A3B组合容量详情 | Q4_K_M | 23.38 GB | +8.6 GB | ≤340天花板 |
| Apex 35B V1.035B-A3B组合容量详情 | Q4_K_M | 23.91 GB | +8.1 GB | ≤332天花板 |
| Command R 35B35B | Q4_K_M | 22.86 GB | +9.1 GB | ≤30天花板 |
| K2 Horizon 32B32B组合容量详情 | Q5_K_M | 26.91 GB | +5.1 GB | ≤26天花板 |
| MiniCPM-V 4.7 35B-A3B35B-A3B组合容量详情 | Q5_K_M | 25.91 GB | +6.1 GB | ≤299天花板 |
| Clover-35B-A3B-Preview35B-A3B组合容量详情 | Q4_K_M | 23.4 GB | +8.6 GB | ≤331天花板 |
| Yi 1.5 34B Chat34B | Q4_K_M | 22.82 GB | +9.2 GB | ≤31天花板 |
| Nanbeige4.3 33B33B组合容量详情 | Q4_K_M | 22.61 GB | +9.4 GB | ≤31天花板 |
| Qwen3 32B Instruct32B | Q4_K_M | 21.85 GB | +10.1 GB | 21–28推算 |
| Qwen2.5 32B Instruct32B | Q4_K_M | 21.69 GB | +10.3 GB | 22–28推算 |
| Qwen2.5-Coder 32B Instruct32B | Q4_K_M | 21.69 GB | +10.3 GB | 22–28推算 |
| DeepSeek-R1-Distill-Qwen-32B32B | Q4_K_M | 21.69 GB | +10.3 GB | 22–28推算 |
| Nemotron 3.5 Lightning 30B-A3B30B-A3B组合容量详情 | Q4_0 | 19.79 GB | +12.2 GB | ≤356天花板 |
| Xing4.0 29B-A4B29B-A4B组合容量详情 | Q5_K_M | 25.28 GB | +6.7 GB | ≤208天花板 |
| Gemma 4 31B IT31B组合容量详情 | Q5_K_M | 25.25 GB | +6.8 GB | 19–25推算 |
| Qwen3-Coder 30B-A3B Instruct30B-A3B组合容量详情 | Q5_K_M | 23.12 GB | +8.9 GB | ≤300天花板 |
| Qwen3-VL 30B-A3B Instruct30B-A3B组合容量详情 | Q4_K_M | 19.89 GB | +12.1 GB | ≤350天花板 |
| Qwen3 30B-A3B Instruct30B-A3B | Q5_K_M | 23.04 GB | +9 GB | ≤301天花板 |
| North Mini Code 1.0 30B-A3B30B-A3B组合容量详情 | Q4_K_M | 20.01 GB | +12 GB | ≤347天花板 |
| Hy-Memory-30B-A3B30B-A3B组合容量详情 | Q6_K | 26.21 GB | +5.8 GB | ≤260天花板 |
| GLM-4.7-Flash30B-A3B组合容量详情 | Q4_K_M | 19.51 GB | +12.5 GB | ≤346天花板 |
| Granite 4.2 30B30B组合容量详情 | Q6_K | 26.19 GB | +5.8 GB | 18–23推算 |
| Muse Glimmer 30B30B组合容量详情 | Q6_K | 24.61 GB | +7.4 GB | 18–24推算 |
| Qwen3.8 27B27B组合容量详情 | Q6_K | 25.2 GB | +6.8 GB | 18–24推算 |
| Arete 27B27B组合容量详情 | Q5_K_M | 21.89 GB | +10.1 GB | 21–27推算 |
| Qwen3.6 27B27B组合容量详情 | Q5_K_M | 22.19 GB | +9.8 GB | 20–27推算 |
| DaisyRose 27B27B组合容量详情 | Q5_K_M | 22 GB | +10 GB | 20–27推算 |
| Gemma 2 27B Instruct27B | Q5_K_M | 21.76 GB | +10.2 GB | 22–29推算 |
| Gemma 3 27B IT27B组合容量详情 | Q4_K_M | 18.3 GB | +13.7 GB | 26–34推算 |
| Ternary Bonsai 2 27B27B组合容量详情 | Q2_0 | 8.24 GB | +23.8 GB | 56–74推算 |
| Clairic 27B27B组合容量详情 | Q5_K_M | 20.51 GB | +11.5 GB | 22–29推算 |
| Gemma 4 26B-A4B IT26B-A4B组合容量详情 | Q4_K_M | 18.22 GB | +13.8 GB | ≤237天花板 |
| Mistral Small 24B Instruct24B | Q4_K_M | 15.89 GB | +16.1 GB | 29–39推算 |
| LFM2.5 24B-A2B24B-A2B组合容量详情 | Q8_0 | 26.73 GB | +5.3 GB | ≤246天花板 |
| Devstral Small 1.1 24B24B组合容量详情 | Q6_K | 20.89 GB | +11.1 GB | 22–29推算 |
| Magistral Small 1.2 24B24B组合容量详情 | Q6_K | 20.89 GB | +11.1 GB | 22–29推算 |
| Codestral 22B22B | Q4_K_M | 15.03 GB | +17 GB | 32–42推算 |
| ERNIE 4.5 21B-A3B21B-A3B组合容量详情 | Q8_0 | 24.48 GB | +7.5 GB | ≤201天花板 |
| GPT-OSS 20B21B MoE | MXFP4 | 12.76 GB | +19.2 GB | ≤307天花板 |
10–20B · 19
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| InternLM2 20B Chat20B | Q5_K_M | 15.59 GB | +16.4 GB | 30–40推算 |
| DeepSeek-Coder-V2-Lite Instruct16B-A2.4B | Q8_0 | 17.56 GB | +14.4 GB | ≤251天花板 |
| DeepSeek-V2-Lite Chat16B-A2.4B | Q4_K_M | 10.08 GB | +21.9 GB | ≤440天花板 |
| StarCoder2 15B15B | Q4_K_M | 9.85 GB | +22.2 GB | 47–62推算 |
| Qwen3 14B Instruct14B | Q5_K_M | 11.65 GB | +20.4 GB | 40–54推算 |
| Qwen2.5 14B Instruct14B | Q5_K_M | 11.73 GB | +20.3 GB | 41–54推算 |
| DeepSeek-R1-Distill-Qwen-14B14B | Q4_K_M | 10.14 GB | +21.9 GB | 48–63推算 |
| Phi-4 14B14B | Q5_K_M | 11.77 GB | +20.2 GB | 41–54推算 |
| Phi-3 Medium 14B Instruct14B | Q6_K | 12.86 GB | +19.1 GB | 37–49推算 |
| Ministral 3 14B Instruct14B组合容量详情 | Q8_0 | 15.7 GB | +16.3 GB | 30–39推算 |
| Mistral Nemo 12B Instruct12B | Q6_K | 11.14 GB | +20.9 GB | 42–56推算 |
| Gemma 3 12B IT12B | Q5_K_M | 9.84 GB | +22.2 GB | 49–65推算 |
| Mellum2.1 12B-A2.5B Thinking12B-A2.5B | Q8_0 | 13.6 GB | +18.4 GB | ≤241天花板 |
| Stable LM 2 12B Chat12B | Q4_K_M | 8.52 GB | +23.5 GB | 58–77推算 |
| Gemma 4 12B IT12B组合容量详情 | Q8_0 | 13.82 GB | +18.2 GB | 33–44推算 |
| Llama 3.2 11B Vision Instruct11B | Q8_0 | 12.9 GB | +19.1 GB | 36–48推算 |
| Solar 10.7B Instruct11B | Q4_K_M | 7.6 GB | +24.4 GB | 65–87推算 |
| Falcon 3 10B Instruct10B | Q4_K_M | 7.28 GB | +24.7 GB | 67–89推算 |
| Metis-1.6 Logos10B MoE组合容量详情 | Q8_0 | 11.67 GB | +20.3 GB | ≤230天花板 |
4–10B · 37
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Gemma 2 9B Instruct9B | Q8_0 | 11.7 GB | +20.3 GB | 43–57推算 |
| Qwen3.5 9B9B组合容量详情 | Q8_0 | 10.39 GB | +21.6 GB | 43–57推算 |
| K2 Horizon 7B7B组合容量详情 | Q8_0 | 10.62 GB | +21.4 GB | 44–59推算 |
| GLM-4-9B-Chat9B | Q8_0 | 10.16 GB | +21.8 GB | 44–59推算 |
| MiMo-V2.6-Distill-Qwen-9B9B组合容量详情 | Q8_0 | 10.11 GB | +21.9 GB | 44–59推算 |
| Clairic Flash 9B9B组合容量详情 | Q8_0 | 10.1 GB | +21.9 GB | 44–59推算 |
| Qwen3-VL 8B Instruct8B | Q8_0 | 10.39 GB | +21.6 GB | 45–60推算 |
| TwIL 8B balanced8.8B | Q4_K_M | 6.28 GB | +25.7 GB | 79–105推算 |
| Granite 4.2 8B8B组合容量详情 | Q8_0 | 10.46 GB | +21.5 GB | 45–60推算 |
| Ministral 3 8B Instruct8B | Q8_0 | 10.02 GB | +22 GB | 47–62推算 |
| LFM2.5 8B-A1B8B-A1.5B组合容量详情 | Q8_0 | 9.46 GB | +22.5 GB | ≤401天花板 |
| Qwen2-VL 7B Instruct7B | Q4_K_M | 5.49 GB | +26.5 GB | 84–112推算 |
| Granite 3.1 8B Instruct8B | Q4_K_M | 5.88 GB | +26.1 GB | 85–113推算 |
| Shot Reader 8B8B组合容量详情 | Q8_0 | 9.72 GB | +22.3 GB | 49–64推算 |
| Qwen3 8B Instruct8B | Q6_K | 7.64 GB | +24.4 GB | 63–84推算 |
| Llama 3.1 8B Instruct8B | Q8_0 | 9.47 GB | +22.5 GB | 50–66推算 |
| Nous Hermes 3 Llama 3.1 8B8B | Q4_K_M | 5.64 GB | +26.4 GB | 87–115推算 |
| Aya 23 8B8B | Q4_K_M | 5.64 GB | +26.4 GB | 87–115推算 |
| OpenChat 3.6 8B8B | Q4_K_M | 5.64 GB | +26.4 GB | 87–115推算 |
| DeepSeek-R1-Distill-Llama-8B8B | Q5_K_M | 6.51 GB | +25.5 GB | 74–98推算 |
| InternLM2 7B Chat7B | Q4_K_M | 5.45 GB | +26.6 GB | 90–120推算 |
| Qwen2.5 7B Instruct7B | Q6_K | 6.77 GB | +25.2 GB | 68–90推算 |
| Qwen2.5-Coder 7B Instruct7B | Q4_K_M | 5.07 GB | +26.9 GB | 92–121推算 |
| DeepSeek-R1-Distill-Qwen-7B7B | Q4_K_M | 5.07 GB | +26.9 GB | 92–121推算 |
| Gemma 4 E4B ITE4B组合容量详情 | Q8_0 | 8.68 GB | +23.3 GB | 52–68推算 |
| Nemotron 3.5 Bolt E4BE4B组合容量详情 | Q8_0 | 8.5 GB | +23.5 GB | 53–70推算 |
| OLMo 2 7B Instruct7B | Q8_0 | 10.3 GB | +21.7 GB | 55–72推算 |
| OLMo 3 7B Instruct7B | Q8_0 | 10.3 GB | +21.7 GB | 55–72推算 |
| WizardLM-2 7B7B | Q4_K_M | 5.14 GB | +26.9 GB | 97–128推算 |
| Mistral 7B Instruct v0.37B | Q6_K | 6.75 GB | +25.3 GB | 71–95推算 |
| Zephyr 7B Beta7B | Q6_K | 6.75 GB | +25.3 GB | 71–95推算 |
| K2 Horizon 3.7B3.7B | Q8_0 | 6.24 GB | +25.8 GB | ≤119天花板 |
| Gemma 4 E2B ITE2B | Q8_0 | 5.2 GB | +26.8 GB | ≤130天花板 |
| Qwen3.5 4B4B | Q8_0 | 4.97 GB | +27 GB | ≤138天花板 |
| Gemma 3 4B IT4B | Q8_0 | 5.05 GB | +27 GB | ≤140天花板 |
| Spark-X2.6 4B4B | Q8_0 | 4.84 GB | +27.2 GB | ≤146天花板 |
| Qwen3 4B Instruct4B | Q6_K | 4.05 GB | +28 GB | ≤195天花板 |
<4B · 22
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Phi-4 Mini Instruct3.8B | Q8_0 | 4.81 GB | +27.2 GB | ≤157天花板 |
| Phi-3.5 Mini Instruct3.8B | Q8_0 | 5.89 GB | +26.1 GB | ≤158天花板 |
| Granite 4.2 3B3B | Q8_0 | 4.41 GB | +27.6 GB | ≤165天花板 |
| Ministral 3 3B Instruct3B | Q8_0 | 4.26 GB | +27.7 GB | ≤175天花板 |
| Llama 3.2 3B Instruct3B | Q8_0 | 4.05 GB | +28 GB | ≤188天花板 |
| Qwen2.5 3B Instruct3B | Q8_0 | 3.59 GB | +28.4 GB | ≤195天花板 |
| SmolLM3 3B3B | Q8_0 | 3.73 GB | +28.3 GB | ≤195天花板 |
| Metis-1.6 Praxis3B MoE | Q8_0 | 3.4 GB | +28.6 GB | ≤538天花板 |
| Gemma 2 2B Instruct2B | Q8_0 | 3.34 GB | +28.7 GB | ≤231天花板 |
| Qwen3.5 2B2B | Q8_0 | 2.23 GB | +29.8 GB | ≤307天花板 |
| LFM3 1.7B1.7B | Q8_0 | 1.99 GB | +30 GB | ≤347天花板 |
| LFM3-VL 2B2B | Q8_0 | 1.99 GB | +30 GB | ≤347天花板 |
| Qwen3 1.7B Instruct1.7B | Q8_0 | 2.39 GB | +29.6 GB | ≤349天花板 |
| Qwen2.5 1.5B Instruct1.5B | Q8_0 | 1.83 GB | +30.2 GB | ≤392天花板 |
| Llama 3.2 1B Instruct1B | Q8_0 | 1.51 GB | +30.5 GB | ≤486天花板 |
| LFM2.5 1.2B Instruct1.2B | Q8_0 | 1.35 GB | +30.7 GB | ≤515天花板 |
| K2 Horizon 0.9B0.9B | Q8_0 | 1.44 GB | +30.6 GB | ≤558天花板 |
| Qwen3.5 0.8B0.8B | Q8_0 | 0.94 GB | +31.1 GB | ≤751天花板 |
| BotPsy 0.8B0.75B | Q8_0 | 0.9 GB | +31.1 GB | ≤790天花板 |
| Qwen2.5 0.5B Instruct0.5B | Q8_0 | 0.6 GB | +31.4 GB | ≤1241天花板 |
| MNN-Pocket 0.3B Instruct0.36B | Q8_0 | 0.46 GB | +31.5 GB | ≤1643天花板 |
| MNN-Pocket 0.3B QAT0.30B | Q4_1 | 0.26 GB | +31.7 GB | ≤3378天花板 |
这个列表是怎么算出来的
每一行取该模型中困惑度损失最低、且预估总量(权重 + 4K 上下文下的 KV 缓存 + 激活缓冲)不超过显存 88% 的量化档位。88% 是计算器的「绿色」阈值,因此每一项估算都留有余量。提高上下文长度,列表会变短;计算器可直接验证任意组合。 速度数字标明来源:实测、按本显卡的 Llama 2 7B 跑分缩放的估算范围,或理论带宽上限。 只有 RTX 4090 上才有的速度数字会标明是该显卡的参考值。
另有 3 个模型能加载但不留余量(占用至多为显存的 105%)—— 模型库的显卡快捷筛选把它们也计入,因此那里的数字更大。
在这张卡上的实测数据
本索引中没有在 Arc Pro B70 32G 上跑出的基准记录。本页所有数字都是根据模型架构与量化档位计算得出的估算,不是实测值。
显存预算相同的显卡
同样是 32GB,但放在系统内存里是另一台机器 —— 本页所有模型都「装得下」,速度却由内存通道决定,而不是显卡总线: 32 GB RAM (CPU)
这张卡的部署指南
针对 Arc Pro B70 32G 的运行时或显存容量编写的分步指南,包括具体命令,以及确认模型确实跑在这张卡上的检查方法。
常见问题
Arc Pro B70 32G 上最适合本地运行的大模型是哪个?
日常使用推荐 Gemma 3 27B IT(Q4_K_M)—— 在 4K 上下文下约占这张卡 32 GB 中的 18.3 GB,还剩 13.7 GB 给更长的窗口。如果你要的是能加载的最大模型,那是 Kolibri-1 78B-A3.5B(IQ2_XS,约 25.6 GB,余量 6.4 GB)。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准,无法告诉你哪个模型更聪明。
Arc Pro B70 32G 能跑 Llama 3.2 90B Vision Instruct 吗?
不能。它在本索引中最小的构建 Q3_K_M 约需 46.2 GB,而这张卡可用约 32.0 GB —— 在 4K 之外的上下文还没算上之前就已经差了 14.2 GB。这张卡能从容运行的最大模型是 Kolibri-1 78B-A3.5B。
Arc Pro B70 32G 跑 8B 模型的 Q4 量化大概有多少 tok/s?
本索引没有这张卡的实测记录,因此不公布具体数字。可以从规格推出的是:生成一个 token 需要把每个权重都读一遍,Llama 3.1 8B Instruct 在 Q4_K_M 下权重为 4.6 GB,而这张卡的带宽是 608 GB/s —— 上限约 132 tok/s。批大小、上下文长度、运行时以及缓存命中情况都会把实际值压到这个数以下。
本地跑大模型,Arc Pro B70 32G 还是 RTX 5090?
两者装得下的模型并不相同:4K 下 Arc Pro B70 32G 可从容运行 151 个中的 123 个,RTX 5090 为 125 个——两者能加载的格式不同。另一个差别在吞吐 —— 608 GB/s 对 1,792 GB/s,读取权重的速度相差 2.9 倍,而 token 生成正是受此限制。两张卡都装得下的模型,RTX 5090 生成更快。
在 32GB、4K 上下文下,索引中 151 个模型有 123 个可从容运行,各自取仍留有余量的最高质量档位。
本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-11-22 RSS → /zh/feed.xml