Arc B570 10G 能跑哪些大模型？

Arc B570 10G 的简短答案

10 GB，380 GB/s GDDR6。索引中 89 个模型里有 40 个能在 4K 上下文下从容运行，48 个至少能加载。

能装下的最大模型

Mistral Nemo 12B Instruct — Q4_K_M 下约 8.4 GB —— 4K 时仅剩 1.6 GB，上下文再拉长就要动用这点余量。

留有余量的选择

GLM-4-9B-Chat — Q4_K_M 下约 5.9 GB —— 占用不到显存的 60%，留下 4.1 GB 给长上下文或第二个进程。

速度上限

Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 380 GB/s 给出的硬上限约为 82 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录，因此无法与这个上限对照。

你会先撞到的墙

瓶颈是后端支持，不是容量。在 380 GB/s 下，这张卡的显存子系统与同容量级别相称；限制它的是哪些运行时能用上它。llama.cpp 的 SYCL 后端把 Arc A 系列和 B580 列为已验证，Ollama 通过 Vulkan 运行它们 —— 所以本站在这里推荐 GGUF 格式，不推荐 AWQ、GPTQ 和 EXL2。