跳转到主要内容
32GB 显存

Radeon AI PRO R9700 32G 能跑哪些大模型?

在 32GB、4K 上下文下,索引中 151 个模型有 125 个可从容运行,各自取仍留有余量的最高质量档位。

上下文长度
并发数(batch)

Radeon AI PRO R9700 32G 的简短答案

32 GB,640 GB/s GDDR6。索引中 151 个模型里有 125 个能在 4K 上下文下从容运行,126 个至少能加载。

能装下的最大模型
Kolibri-1 78B-A3.5B — IQ2_XS 下约 25.6 GB —— 4K 时仅剩 6.4 GB,上下文再拉长就要动用这点余量。下载这个文件: bartowski/Kolibri-1-GGUF · Kolibri-1-IQ2_XS.gguf · 24.34 GB · 2026-11-12 核对
留有余量的选择
Gemma 3 27B IT — Q4_K_M 下约 18.3 GB —— 占用不到显存的 60%,留下 13.7 GB 给长上下文或第二个进程。下载这个文件: bartowski/google_gemma-3-27b-it-GGUF · google_gemma-3-27b-it-Q4_K_M.gguf · 16.55 GB · 另需视觉投影 0.86 GB · 2026-11-03 核对
速度上限
Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重,因此 640 GB/s 给出的硬上限约为 139 tok/s。这是两个公开数字的算术结果,不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录,因此无法与这个上限对照。
你会先撞到的墙
瓶颈是后端支持,不是容量。在 640 GB/s 下,显存子系统与同容量的 NVIDIA 卡相当;真正的变量是你的运行时是否有适配你内核与显卡的可用 ROCm 构建。llama.cpp 与 vLLM 都提供官方 ROCm 支持 —— 这是配置问题,不是硬件天花板。
32GB 能跑的最好的本地大模型

50B+ · 4

Radeon AI PRO R9700 32G 能跑哪些大模型? — 50B+
模型量化档位预估显存余量tok/s
Kolibri-1 78B-A3.5B78B-A3.5B组合容量详情IQ2_XS25.59 GB+6.4 GB≤618天花板
Nemotron 3.5 Bolt 74B-A9B74B-A9B组合容量详情IQ2_XXS23.05 GB+9 GB≤252天花板
Ripple-65B-Preview65B组合容量详情IQ2_S27.18 GB+4.8 GB≤27天花板
Jamba 1.5 Mini52B-A12BAWQ INT427.24 GB+4.8 GB≤112天花板

20–50B · 43

Radeon AI PRO R9700 32G 能跑哪些大模型? — 20–50B
模型量化档位预估显存余量tok/s
Mixtral 8x7B Instruct47B MoEAWQ INT424.95 GB+7.1 GB≤104天花板
Recursive Flint 40B-A2.5B40B-A2.5B组合容量详情Q4_K_M26.68 GB+5.3 GB≤424天花板
K2 Horizon MoVA 36B-A4B36B-A4B组合容量详情Q4_K_M24.21 GB+7.8 GB≤282天花板
Seed-OSS 36B Instruct36B组合容量详情Q5_K_M27.83 GB+4.2 GB≤26天花板
Qwen3.6 35B-A3B35B-A3B组合容量详情Q4_K_M23.38 GB+8.6 GB≤358天花板
Apex 35B V1.035B-A3B组合容量详情Q4_K_M23.91 GB+8.1 GB≤350天花板
Command R 35B35BQ4_K_M22.86 GB+9.1 GB≤32天花板
K2 Horizon 32B32B组合容量详情Q5_K_M26.91 GB+5.1 GB≤27天花板
MiniCPM-V 4.7 35B-A3B35B-A3B组合容量详情Q5_K_M25.91 GB+6.1 GB≤315天花板
Clover-35B-A3B-Preview35B-A3B组合容量详情Q4_K_M23.4 GB+8.6 GB≤349天花板
Yi 1.5 34B Chat34BQ4_K_M22.82 GB+9.2 GB≤32天花板
Nanbeige4.3 33B33B组合容量详情Q4_K_M22.61 GB+9.4 GB≤32天花板
Qwen3 32B Instruct32BQ4_K_M21.85 GB+10.1 GB18–24推算
Qwen2.5 32B Instruct32BQ4_K_M21.69 GB+10.3 GB18–24推算
Qwen2.5-Coder 32B Instruct32BQ4_K_M21.69 GB+10.3 GB18–24推算
DeepSeek-R1-Distill-Qwen-32B32BQ4_K_M21.69 GB+10.3 GB18–24推算
Nemotron 3.5 Lightning 30B-A3B30B-A3B组合容量详情Q4_019.79 GB+12.2 GB≤375天花板
Xing4.0 29B-A4B29B-A4B组合容量详情Q5_K_M25.28 GB+6.7 GB≤219天花板
Gemma 4 31B IT31B组合容量详情Q5_K_M25.25 GB+6.8 GB16–21推算
Qwen3-Coder 30B-A3B Instruct30B-A3B组合容量详情Q5_K_M23.12 GB+8.9 GB≤316天花板
Qwen3-VL 30B-A3B Instruct30B-A3B组合容量详情Q4_K_M19.89 GB+12.1 GB≤368天花板
Qwen3 30B-A3B Instruct30B-A3BQ5_K_M23.04 GB+9 GB≤316天花板
North Mini Code 1.0 30B-A3B30B-A3B组合容量详情Q4_K_M20.01 GB+12 GB≤365天花板
Hy-Memory-30B-A3B30B-A3B组合容量详情Q6_K26.21 GB+5.8 GB≤273天花板
GLM-4.7-Flash30B-A3B组合容量详情Q4_K_M19.51 GB+12.5 GB≤364天花板
Granite 4.2 30B30B组合容量详情Q6_K26.19 GB+5.8 GB15–20推算
Muse Glimmer 30B30B组合容量详情Q6_K24.61 GB+7.4 GB15–20推算
Qwen3.8 27B27B组合容量详情Q6_K25.2 GB+6.8 GB15–20推算
Arete 27B27B组合容量详情Q5_K_M21.89 GB+10.1 GB17–23推算
Qwen3.6 27B27B组合容量详情Q5_K_M22.19 GB+9.8 GB17–22推算
DaisyRose 27B27B组合容量详情Q5_K_M22 GB+10 GB17–23推算
Gemma 2 27B Instruct27BQ5_K_M21.76 GB+10.2 GB18–24推算
Gemma 3 27B IT27B组合容量详情Q4_K_M18.3 GB+13.7 GB21–28推算
Ternary Bonsai 2 27B27B组合容量详情Q2_08.24 GB+23.8 GB47–62推算
Clairic 27B27B组合容量详情Q5_K_M20.51 GB+11.5 GB18–24推算
Gemma 4 26B-A4B IT26B-A4B组合容量详情Q4_K_M18.22 GB+13.8 GB≤250天花板
Mistral Small 24B Instruct24BQ4_K_M15.89 GB+16.1 GB24–32推算
LFM2.5 24B-A2B24B-A2B组合容量详情Q8_026.73 GB+5.3 GB≤259天花板
Devstral Small 1.1 24B24B组合容量详情Q6_K20.89 GB+11.1 GB18–24推算
Magistral Small 1.2 24B24B组合容量详情Q6_K20.89 GB+11.1 GB18–24推算
Codestral 22B22BQ4_K_M15.03 GB+17 GB26–35推算
ERNIE 4.5 21B-A3B21B-A3B组合容量详情Q8_024.48 GB+7.5 GB≤211天花板
GPT-OSS 20B21B MoEMXFP412.76 GB+19.2 GB≤323天花板

10–20B · 19

Radeon AI PRO R9700 32G 能跑哪些大模型? — 10–20B
模型量化档位预估显存余量tok/s
InternLM2 20B Chat20BQ5_K_M15.59 GB+16.4 GB25–33推算
DeepSeek-Coder-V2-Lite Instruct16B-A2.4BQ8_017.56 GB+14.4 GB≤264天花板
DeepSeek-V2-Lite Chat16B-A2.4BQ4_K_M10.08 GB+21.9 GB≤463天花板
StarCoder2 15B15BQ4_K_M9.85 GB+22.2 GB39–52推算
Qwen3 14B Instruct14BQ5_K_M11.65 GB+20.4 GB34–45推算
Qwen2.5 14B Instruct14BQ5_K_M11.73 GB+20.3 GB34–45推算
DeepSeek-R1-Distill-Qwen-14B14BQ4_K_M10.14 GB+21.9 GB40–53推算
Phi-4 14B14BQ5_K_M11.77 GB+20.2 GB34–45推算
Phi-3 Medium 14B Instruct14BQ6_K12.86 GB+19.1 GB31–41推算
Ministral 3 14B Instruct14B组合容量详情Q8_015.7 GB+16.3 GB25–33推算
Mistral Nemo 12B Instruct12BQ6_K11.14 GB+20.9 GB36–47推算
Gemma 3 12B IT12BQ5_K_M9.84 GB+22.2 GB41–54推算
Mellum2.1 12B-A2.5B Thinking12B-A2.5BQ8_013.6 GB+18.4 GB≤254天花板
Stable LM 2 12B Chat12BQ4_K_M8.52 GB+23.5 GB48–64推算
Gemma 4 12B IT12B组合容量详情Q8_013.82 GB+18.2 GB28–37推算
Llama 3.2 11B Vision Instruct11BQ8_012.9 GB+19.1 GB30–40推算
Solar 10.7B Instruct11BQ4_K_M7.6 GB+24.4 GB55–73推算
Falcon 3 10B Instruct10BQ4_K_M7.28 GB+24.7 GB56–75推算
Metis-1.6 Logos10B MoE组合容量详情Q8_011.67 GB+20.3 GB≤242天花板

4–10B · 37

Radeon AI PRO R9700 32G 能跑哪些大模型? — 4–10B
模型量化档位预估显存余量tok/s
Gemma 2 9B Instruct9BQ8_011.7 GB+20.3 GB36–48推算
Qwen3.5 9B9B组合容量详情Q8_010.39 GB+21.6 GB36–48推算
K2 Horizon 7B7B组合容量详情Q8_010.62 GB+21.4 GB37–49推算
GLM-4-9B-Chat9BQ8_010.16 GB+21.8 GB37–49推算
MiMo-V2.6-Distill-Qwen-9B9B组合容量详情Q8_010.11 GB+21.9 GB37–49推算
Clairic Flash 9B9B组合容量详情Q8_010.1 GB+21.9 GB37–49推算
Qwen3-VL 8B Instruct8BQ8_010.39 GB+21.6 GB38–50推算
TwIL 8B balanced8.8BQ4_K_M6.28 GB+25.7 GB66–88推算
Granite 4.2 8B8B组合容量详情Q8_010.46 GB+21.5 GB38–50推算
Ministral 3 8B Instruct8BQ8_010.02 GB+22 GB39–52推算
LFM2.5 8B-A1B8B-A1.5B组合容量详情Q8_09.46 GB+22.5 GB≤422天花板
Qwen2-VL 7B Instruct7BQ4_K_M5.49 GB+26.5 GB71–94推算
Granite 3.1 8B Instruct8BQ4_K_M5.88 GB+26.1 GB72–95推算
Shot Reader 8B8B组合容量详情Q8_09.72 GB+22.3 GB41–54推算
Qwen3 8B Instruct8BQ6_K7.64 GB+24.4 GB53–70推算
Llama 3.1 8B Instruct8BQ8_09.47 GB+22.5 GB42–55推算
Nous Hermes 3 Llama 3.1 8B8BQ4_K_M5.64 GB+26.4 GB73–97推算
Aya 23 8B8BQ4_K_M5.64 GB+26.4 GB73–97推算
OpenChat 3.6 8B8BQ4_K_M5.64 GB+26.4 GB73–97推算
DeepSeek-R1-Distill-Llama-8B8BQ5_K_M6.51 GB+25.5 GB62–82推算
InternLM2 7B Chat7BQ4_K_M5.45 GB+26.6 GB76–100推算
Qwen2.5 7B Instruct7BQ6_K6.77 GB+25.2 GB57–75推算
Qwen2.5-Coder 7B Instruct7BQ4_K_M5.07 GB+26.9 GB77–102推算
DeepSeek-R1-Distill-Qwen-7B7BQ4_K_M5.07 GB+26.9 GB77–102推算
Gemma 4 E4B ITE4B组合容量详情Q8_08.68 GB+23.3 GB43–57推算
Nemotron 3.5 Bolt E4BE4B组合容量详情Q8_08.5 GB+23.5 GB44–59推算
OLMo 2 7B Instruct7BQ8_010.3 GB+21.7 GB46–61推算
OLMo 3 7B Instruct7BQ8_010.3 GB+21.7 GB46–61推算
WizardLM-2 7B7BQ4_K_M5.14 GB+26.9 GB81–107推算
Mistral 7B Instruct v0.37BQ6_K6.75 GB+25.3 GB60–79推算
Zephyr 7B Beta7BQ6_K6.75 GB+25.3 GB60–79推算
K2 Horizon 3.7B3.7BQ8_06.24 GB+25.8 GB≤125天花板
Gemma 4 E2B ITE2BQ8_05.2 GB+26.8 GB≤136天花板
Qwen3.5 4B4BQ8_04.97 GB+27 GB≤146天花板
Gemma 3 4B IT4BQ8_05.05 GB+27 GB≤147天花板
Spark-X2.6 4B4BQ8_04.84 GB+27.2 GB≤154天花板
Qwen3 4B Instruct4BQ6_K4.05 GB+28 GB≤205天花板

<4B · 22

Radeon AI PRO R9700 32G 能跑哪些大模型? — <4B
模型量化档位预估显存余量tok/s
Phi-4 Mini Instruct3.8BQ8_04.81 GB+27.2 GB≤165天花板
Phi-3.5 Mini Instruct3.8BQ8_05.89 GB+26.1 GB≤166天花板
Granite 4.2 3B3BQ8_04.41 GB+27.6 GB≤173天花板
Ministral 3 3B Instruct3BQ8_04.26 GB+27.7 GB≤184天花板
Llama 3.2 3B Instruct3BQ8_04.05 GB+28 GB≤198天花板
Qwen2.5 3B Instruct3BQ8_03.59 GB+28.4 GB≤205天花板
SmolLM3 3B3BQ8_03.73 GB+28.3 GB≤206天花板
Metis-1.6 Praxis3B MoEQ8_03.4 GB+28.6 GB≤566天花板
Gemma 2 2B Instruct2BQ8_03.34 GB+28.7 GB≤243天花板
Qwen3.5 2B2BQ8_02.23 GB+29.8 GB≤323天花板
LFM3 1.7B1.7BQ8_01.99 GB+30 GB≤366天花板
LFM3-VL 2B2BQ8_01.99 GB+30 GB≤366天花板
Qwen3 1.7B Instruct1.7BQ8_02.39 GB+29.6 GB≤368天花板
Qwen2.5 1.5B Instruct1.5BQ8_01.83 GB+30.2 GB≤413天花板
Llama 3.2 1B Instruct1BQ8_01.51 GB+30.5 GB≤512天花板
LFM2.5 1.2B Instruct1.2BQ8_01.35 GB+30.7 GB≤542天花板
K2 Horizon 0.9B0.9BQ8_01.44 GB+30.6 GB≤587天花板
Qwen3.5 0.8B0.8BQ8_00.94 GB+31.1 GB≤790天花板
BotPsy 0.8B0.75BQ8_00.9 GB+31.1 GB≤831天花板
Qwen2.5 0.5B Instruct0.5BQ8_00.6 GB+31.4 GB≤1306天花板
MNN-Pocket 0.3B Instruct0.36BQ8_00.46 GB+31.5 GB≤1730天花板
MNN-Pocket 0.3B QAT0.30BQ4_10.26 GB+31.7 GB≤3556天花板

这个列表是怎么算出来的

每一行取该模型中困惑度损失最低、且预估总量(权重 + 4K 上下文下的 KV 缓存 + 激活缓冲)不超过显存 88% 的量化档位。88% 是计算器的「绿色」阈值,因此每一项估算都留有余量。提高上下文长度,列表会变短;计算器可直接验证任意组合。 速度数字标明来源:实测、按本显卡的 Llama 2 7B 跑分缩放的估算范围,或理论带宽上限。 只有 RTX 4090 上才有的速度数字会标明是该显卡的参考值。

另有 1 个模型能加载但不留余量(占用至多为显存的 105%)—— 模型库的显卡快捷筛选把它们也计入,因此那里的数字更大。

在这张卡上的实测数据

本索引中没有在 Radeon AI PRO R9700 32G 上跑出的基准记录。本页所有数字都是根据模型架构与量化档位计算得出的估算,不是实测值。

显存预算相同的显卡

能装下什么由显存决定,所以同类型的每张 32GB 显卡返回的列表都一样。这几个页面给出的不是不同答案 —— 它们的差别在吞吐,而本索引并未逐卡实测吞吐。

同样是 32GB,但放在系统内存里是另一台机器 —— 本页所有模型都「装得下」,速度却由内存通道决定,而不是显卡总线: 32 GB RAM (CPU)

能装的模型一样,速度不一样——让同一句话在两张卡上并排流出来: Radeon AI PRO R9700 32G 对比 Instinct MI100 32G(Qwen3 32B Instruct)

这张卡的部署指南

针对 Radeon AI PRO R9700 32G 的运行时或显存容量编写的分步指南,包括具体命令,以及确认模型确实跑在这张卡上的检查方法。

再往上一档

Radeon PRO W7900 48G(48GB)比这张卡多装下 6 个索引内的模型。 Radeon PRO W7900 48G →

买之前,先用两张卡都装得下的模型听听速度差多少: Radeon AI PRO R9700 32G 对比 Radeon PRO W7900 48G(Qwen3 32B Instruct) →

常见问题

Radeon AI PRO R9700 32G 上最适合本地运行的大模型是哪个?

日常使用推荐 Gemma 3 27B IT(Q4_K_M)—— 在 4K 上下文下约占这张卡 32 GB 中的 18.3 GB,还剩 13.7 GB 给更长的窗口。如果你要的是能加载的最大模型,那是 Kolibri-1 78B-A3.5B(IQ2_XS,约 25.6 GB,余量 6.4 GB)。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准,无法告诉你哪个模型更聪明。

Radeon AI PRO R9700 32G 能跑 Llama 3.2 90B Vision Instruct 吗?

不能。它在本索引中最小的构建 Q3_K_M 约需 46.2 GB,而这张卡可用约 32.0 GB —— 在 4K 之外的上下文还没算上之前就已经差了 14.2 GB。这张卡能从容运行的最大模型是 Kolibri-1 78B-A3.5B。

Radeon AI PRO R9700 32G 跑 8B 模型的 Q4 量化大概有多少 tok/s?

本索引没有这张卡的实测记录,因此不公布具体数字。可以从规格推出的是:生成一个 token 需要把每个权重都读一遍,Llama 3.1 8B Instruct 在 Q4_K_M 下权重为 4.6 GB,而这张卡的带宽是 640 GB/s —— 上限约 139 tok/s。批大小、上下文长度、运行时以及缓存命中情况都会把实际值压到这个数以下。

本地跑大模型,Radeon AI PRO R9700 32G 还是 RTX 5090?

两张卡装得下的模型相同:32 GB 与 32 GB 在 4K 下分别可从容运行 151 个中的 125 个与 125 个。差别在吞吐 —— 640 GB/s 对 1,792 GB/s,读取权重的速度相差 2.8 倍,而 token 生成正是受此限制。两张卡都装得下的模型,RTX 5090 生成更快。

在 32GB、4K 上下文下,索引中 151 个模型有 125 个可从容运行,各自取仍留有余量的最高质量档位。

本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-11-22 RSS → /zh/feed.xml