12GB 显存

Arc B580 12G 能跑哪些大模型?

在 12GB、4K 上下文下,索引中 145 个模型有 76 个可从容运行,各自取仍留有余量的最高质量档位。

Arc B580 12G 的简短答案

12 GB,456 GB/s GDDR6。索引中 145 个模型里有 76 个能在 4K 上下文下从容运行,78 个至少能加载。

能装下的最大模型
Hy-Memory-30B-A3B — Q8_0-expsIQ2_XXS 下约 9.9 GB —— 4K 时仅剩 2.1 GB,上下文再拉长就要动用这点余量。下载这个文件: tencent/Hy-Memory-30B-A3B-GGUF · Hy-Memory-30B-A3B-Q8_0-expsIQ2_XXS.gguf · 9.14 GB · 2026-11-12 核对
留有余量的选择
TwIL 8B balanced — Q4_K_M 下约 6.3 GB —— 占用不到显存的 60%,留下 5.7 GB 给长上下文或第二个进程。下载这个文件: webAI-Official/TwIL-8B · TwIL-8B-Q4_K_M-balanced.gguf · 5.35 GB · 2026-11-15 核对
速度上限
Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重,因此 456 GB/s 给出的硬上限约为 99 tok/s。这是两个公开数字的算术结果,不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录,因此无法与这个上限对照。
你会先撞到的墙
瓶颈是后端支持,不是容量。在 456 GB/s 下,这张卡的显存子系统与同容量级别相称;限制它的是哪些运行时能用上它。llama.cpp 的 SYCL 后端把 Arc A 系列和 B580 列为已验证,Ollama 通过 Vulkan 运行它们 —— 所以本站在这里推荐 GGUF 格式,不推荐 AWQ、GPTQ 和 EXL2。
12GB 能跑的最好的本地大模型

32B · 1

Arc B580 12G 能跑哪些大模型? — 32B
模型量化档位预估显存余量tok/s
Hy-Memory-30B-A3B30B-A3BQ8_0-expsIQ2_XXS9.95 GB+2.1 GB≤527天花板

14B · 21

Arc B580 12G 能跑哪些大模型? — 14B
模型量化档位预估显存余量tok/s
DeepSeek-Coder-V2-Lite Instruct16B-A2.4BQ4_K_M10.08 GB+1.9 GB≤330天花板
DeepSeek-V2-Lite Chat16B-A2.4BQ4_K_M10.08 GB+1.9 GB≤330天花板
StarCoder2 15B15BQ4_K_M10.19 GB+1.8 GB29–39推算
Qwen3 14B Instruct14BQ4_K_M10.04 GB+2 GB30–39推算
Qwen2.5 14B Instruct14BQ4_K_M10.14 GB+1.9 GB30–39推算
DeepSeek-R1-Distill-Qwen-14B14BQ4_K_M10.14 GB+1.9 GB30–39推算
Phi-4 14B14BQ4_K_M10.17 GB+1.8 GB30–39推算
Phi-3 Medium 14B Instruct14BQ4_K_M9.73 GB+2.3 GB31–41推算
Ministral 3 14B Instruct14BQ4_K_M9.3 GB+2.7 GB32–43推算
Mistral Nemo 12B Instruct12BQ4_K_M8.42 GB+3.6 GB36–48推算
Gemma 3 12B IT12BQ5_K_M9.84 GB+2.2 GB31–41推算
Mellum2.1 12B-A2.5B Thinking12B-A2.5BQ4_K_M8.59 GB+3.4 GB≤288天花板
Stable LM 2 12B Chat12BQ4_K_M8.35 GB+3.7 GB36–48推算
Gemma 4 12B IT12BQ4_K_M8.02 GB+4 GB37–49推算
Llama 3.2 11B Vision Instruct11BQ4_K_M7.66 GB+4.3 GB40–53推算
Solar 10.7B Instruct11BQ4_K_M7.6 GB+4.4 GB41–54推算
Falcon 3 10B Instruct10BQ4_K_M7.28 GB+4.7 GB42–56推算
Metis-1.6 Logos10B MoEQ6_K9.31 GB+2.7 GB≤216天花板
Gemma 2 9B Instruct9BQ4_K_M7.3 GB+4.7 GB47–63推算
Qwen3.5 9B9BQ8_010.39 GB+1.6 GB27–36推算
K2 Horizon 7B7BQ6_K8.35 GB+3.7 GB36–48推算

7B · 31

Arc B580 12G 能跑哪些大模型? — 7B
模型量化档位预估显存余量tok/s
GLM-4-9B-Chat9BQ8_010.16 GB+1.8 GB28–37推算
MiMo-V2.6-Distill-Qwen-9B9BQ8_010.11 GB+1.9 GB28–37推算
Qwen3-VL 8B Instruct8BQ8_010.39 GB+1.6 GB28–38推算
TwIL 8B balanced8.8BQ4_K_M6.28 GB+5.7 GB50–66推算
Granite 4.2 8B8BQ8_010.46 GB+1.5 GB28–38推算
Ministral 3 8B Instruct8BQ8_010.02 GB+2 GB29–39推算
LFM2.5 8B-A1B8B-A1.5BQ8_09.46 GB+2.5 GB≤301天花板
Qwen2-VL 7B Instruct7BQ4_K_M5.49 GB+6.5 GB53–70推算
Granite 3.1 8B Instruct8BQ4_K_M5.88 GB+6.1 GB53–71推算
Qwen3 8B Instruct8BQ6_K7.64 GB+4.4 GB40–52推算
Llama 3.1 8B Instruct8BQ8_09.47 GB+2.5 GB31–41推算
Nous Hermes 3 Llama 3.1 8B8BQ4_K_M5.64 GB+6.4 GB55–72推算
Aya 23 8B8BQ4_K_M5.64 GB+6.4 GB55–72推算
OpenChat 3.6 8B8BQ4_K_M5.64 GB+6.4 GB55–72推算
DeepSeek-R1-Distill-Llama-8B8BQ5_K_M6.51 GB+5.5 GB47–62推算
InternLM2 7B Chat7BQ4_K_M5.45 GB+6.6 GB57–75推算
Qwen2.5 7B Instruct7BQ6_K6.77 GB+5.2 GB42–56推算
Qwen2.5-Coder 7B Instruct7BQ4_K_M5.07 GB+6.9 GB57–76推算
DeepSeek-R1-Distill-Qwen-7B7BQ4_K_M5.07 GB+6.9 GB57–76推算
Gemma 4 E4B ITE4BQ8_08.68 GB+3.3 GB32–43推算
Nemotron 3.5 Bolt E4BE4BQ8_08.5 GB+3.5 GB33–44推算
OLMo 2 7B Instruct7BQ8_010.3 GB+1.7 GB34–45推算
OLMo 3 7B Instruct7BQ8_010.3 GB+1.7 GB34–45推算
WizardLM-2 7B7BQ4_K_M5.14 GB+6.9 GB61–80推算
Mistral 7B Instruct v0.37BQ6_K6.75 GB+5.3 GB45–59推算
Zephyr 7B Beta7BQ6_K6.75 GB+5.3 GB45–59推算
K2 Horizon 3.7B3.7BQ8_06.24 GB+5.8 GB≤89天花板
Gemma 4 E2B ITE2BQ8_05.2 GB+6.8 GB≤97天花板
Qwen3.5 4B4BQ8_04.97 GB+7 GB≤104天花板
Gemma 3 4B IT4BQ8_05.05 GB+7 GB≤105天花板
Spark-X2.6 4B4BQ8_04.84 GB+7.2 GB≤110天花板

≤3B · 23

Arc B580 12G 能跑哪些大模型? — ≤3B
模型量化档位预估显存余量tok/s
Qwen3 4B Instruct4BQ6_K4.05 GB+8 GB≤146天花板
Phi-4 Mini Instruct3.8BQ8_04.81 GB+7.2 GB≤118天花板
Phi-3.5 Mini Instruct3.8BQ8_05.89 GB+6.1 GB≤118天花板
Granite 4.2 3B3BQ8_04.41 GB+7.6 GB≤124天花板
Ministral 3 3B Instruct3BQ8_04.26 GB+7.7 GB≤131天花板
Llama 3.2 3B Instruct3BQ8_04.05 GB+8 GB≤141天花板
Qwen2.5 3B Instruct3BQ8_03.59 GB+8.4 GB≤146天花板
SmolLM3 3B3BQ8_03.73 GB+8.3 GB≤147天花板
Metis-1.6 Praxis3B MoEQ8_03.4 GB+8.6 GB≤403天花板
Gemma 2 2B Instruct2BQ8_03.34 GB+8.7 GB≤173天花板
Qwen3.5 2B2BQ8_02.23 GB+9.8 GB≤230天花板
LFM3 1.7B1.7BQ8_01.99 GB+10 GB≤261天花板
LFM3-VL 2B2BQ8_01.99 GB+10 GB≤261天花板
Qwen3 1.7B Instruct1.7BQ8_02.39 GB+9.6 GB≤262天花板
Qwen2.5 1.5B Instruct1.5BQ8_01.83 GB+10.2 GB≤294天花板
Llama 3.2 1B Instruct1BQ8_01.51 GB+10.5 GB≤365天花板
LFM2.5 1.2B Instruct1.2BQ8_01.35 GB+10.7 GB≤386天花板
K2 Horizon 0.9B0.9BQ8_01.44 GB+10.6 GB≤418天花板
Qwen3.5 0.8B0.8BQ8_00.94 GB+11.1 GB≤563天花板
BotPsy 0.8B0.75BQ8_00.9 GB+11.1 GB≤592天花板
Qwen2.5 0.5B Instruct0.5BQ8_00.6 GB+11.4 GB≤931天花板
MNN-Pocket 0.3B Instruct0.36BQ8_00.46 GB+11.5 GB≤1232天花板
MNN-Pocket 0.3B QAT0.30BQ4_10.26 GB+11.7 GB≤2533天花板

这个列表是怎么算出来的

每一行取该模型中困惑度损失最低、且预估总量(权重 + 4K 上下文下的 KV 缓存 + 激活缓冲)不超过显存 88% 的量化档位。88% 是计算器的"绿色"阈值,因此这里每一行都留有真实余量,而不是刚好装下。提高上下文长度,列表会变短;计算器可直接验证任意组合。速度一列是这张卡自己的:实测、按这张卡的 Llama 2 7B 跑分缩放出来的范围,或带宽天花板。只有 RTX 4090 上才有的数字会标明是那张卡。

另有 2 个模型能加载但不留余量(占用至多为显存的 105%)—— 模型库的显卡快捷筛选把它们也计入,因此那里的数字更大。

在这张卡上的实测数据

本索引中没有在 Arc B580 12G 上跑出的基准记录。本页所有数字都是根据模型架构与量化档位计算得出的估算,不是实测值。

这张卡的部署指南

针对 Arc B580 12G 的运行时或显存容量编写的分步指南,包括具体命令,以及确认模型确实跑在这张卡上的检查方法。

再往上一档

Arc A770 16G(16GB)比这张卡多装下 4 个索引内的模型。 Arc A770 16G →

买之前,先用两张卡都装得下的模型听听速度差多少: Arc B580 12G 对比 Arc A770 16G(Qwen3 14B Instruct) →

常见问题

Arc B580 12G 上最适合本地运行的大模型是哪个?

日常使用推荐 TwIL 8B balanced(Q4_K_M)—— 在 4K 上下文下约占这张卡 12 GB 中的 6.3 GB,还剩 5.7 GB 给更长的窗口。如果你要的是能加载的最大模型,那是 Hy-Memory-30B-A3B(Q8_0-expsIQ2_XXS,约 9.9 GB,余量 2.1 GB)。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准,无法告诉你哪个模型更聪明。

Arc B580 12G 能跑 North Mini Code 1.0 30B-A3B 吗?

不能。它在本索引中最小的构建 Q3_K_M 约需 15.3 GB,而这张卡可用约 12.0 GB —— 在 4K 之外的上下文还没算上之前就已经差了 3.3 GB。这张卡能从容运行的最大模型是 Hy-Memory-30B-A3B。

Arc B580 12G 跑 8B 模型的 Q4 量化大概有多少 tok/s?

本索引没有这张卡的实测记录,因此不公布具体数字。可以从规格推出的是:生成一个 token 需要把每个权重都读一遍,Llama 3.1 8B Instruct 在 Q4_K_M 下权重为 4.6 GB,而这张卡的带宽是 456 GB/s —— 上限约 99 tok/s。批大小、上下文长度、运行时以及缓存命中情况都会把实际值压到这个数以下。

本地跑大模型,Arc B580 12G 还是 RTX 3080 Ti?

两张卡装得下的模型相同:12 GB 与 12 GB 在 4K 下分别可从容运行 145 个中的 76 个与 76 个。差别在吞吐 —— 456 GB/s 对 912 GB/s,读取权重的速度相差 2.0 倍,而 token 生成正是受此限制。两张卡都装得下的模型,RTX 3080 Ti 生成更快。

在 12GB、4K 上下文下,索引中 145 个模型有 76 个可从容运行,各自取仍留有余量的最高质量档位。

本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-11-17 RSS → /zh/feed.xml