Qwen3 32B Instruct
32BAlibaba Qwen3
Qwen3 稠密 32B — Qwen2.5-32B 继任者,推理与思考模式全面升级。
41K
最大上下文
4
量化变体
GGUF Q4_K_M
最佳质量
+2.5%
困惑度增幅(最佳档位)
量化变体对比
各量化级别的显存、质量损失及 RTX 4090 推理速度
实测 = 本站跑过 · 估算 = 本站未跑过:推算所得,或本站未核实的数字 · 社区 = 公开报告
| 格式 | 级别 | BPW | 显存 | PPL 损失 | 速度 | 来源 | 操作 |
|---|---|---|---|---|---|---|---|
| GGUF | Q3_K_M | 3.87 | 17.7 GB | 7.2% | 50 tok/s | 实测 | |
| GGUF | Q4_K_M | 4.85 | 21.9 GB | 2.5% | 42 tok/s | 实测 | |
| EXL2 | 3.5bpw | 3.5 | 16.1 GB | 4.5% | 62 tok/s | 实测 | |
| AWQ | INT4 | 4 | 18.2 GB | 3.6% | 55 tok/s | 实测 |
每个体积对应哪个文件
文件大小不等于显存:显存一栏是计算器在 4K 上下文下的总量 —— 权重加 KV 缓存,再加 10% 的激活缓冲。两边的单位是有意不同的:文件大小用十进制 GB,和 Hugging Face 列表一致;显存一栏用 GiB(1024³ 字节),并在权重上多算 2%,所以 7.12 GB 的文件在那一栏里约是 6.8 GiB。仓库若带视觉投影(mmproj),它是另外下载的文件,两个数字都不含它。
- GGUF Q3_K_M按计算器这一档位的通用比特率估算,没有核对具体文件。
- GGUF Q4_K_M按计算器这一档位的通用比特率估算,没有核对具体文件。
- EXL2 3.5bpw按计算器这一档位的通用比特率估算,没有核对具体文件。
- AWQ INT4按计算器这一档位的通用比特率估算,没有核对具体文件。
相关社区实测
以下报告只代表报告自身的测试条件,其速度不会替代本页估算,也不能证明你的配置能装下。
我们审核过的链接索引尚未收录此模型的报告。你可以浏览社区实测,或在下方分享自己的测试。
在 llamaPerf 浏览更多实测 ↗Qwen3 30B-A3B Instruct
Alibaba Qwen3
Qwen3 MoE,仅 3B 激活参数。Q4 约 19GB,16GB 显卡上超越 QwQ-32B。
Qwen3-Coder 30B-A3B Instruct
Alibaba Qwen3
Agentic 代码 MoE,3.3B 激活参数,原生 256K 上下文。16–24GB 显卡上最强开源代码模型之一。
Qwen3 8B Instruct
Alibaba Qwen3
最新 Qwen3 稠密 8B,支持思考模式,本地部署比 Qwen2.5 7B 全面升级。
Qwen3 14B Instruct
Alibaba Qwen3
Qwen3 14B GGUF 量化版(Q4_K_M 等)显存需求一览,2026 Qwen 系列中推理能力与显存占用的最佳平衡点。
在本地运行 Qwen3 32B Instruct
在 Q4_K_M、4K 上下文下,Qwen3 32B Instruct 约需 21.9 GB —— 权重 18.9 GB、KV 缓存 1.00 GB、激活缓冲 2.0 GB。本索引中能宽裕跑它的最小规格是 32 GB 显卡 —— 共 4 张,RTX 5090 起步;105 张卡中有 26 张可以。这些是计算值而非实测值:估算把「宽裕」的界线画在显存的 88%,大致就是桌面环境需要留出的余量。
上下文变长会多花多少
从 4K 提到 32K 约多占 7.00 GB,总量来到 29.6 GB。权重不随上下文变化,只有 KV 缓存会,而且是线性增长 —— 规划长文档场景时要盯的就是这个数字。该模型的原生上下文是 40K;在 Q4_K_M 下把它全部撑满约需 32 GB。
该下载哪个版本
本索引收录了它的 3 种格式 —— GGUF、EXL2、AWQ —— 共 4 个档位。 其中 Q4_K_M 的公开困惑度损失最低,为 2.5%。本站实测最快的档位是 EXL2 3.5bpw,在 RTX 4090、batch 1 下为 62 tok/s。GGUF 可在 NVIDIA、AMD 与苹果芯片上通过 llama.cpp 和 Ollama 运行;AWQ 与 GPTQ 面向 CUDA 和 ROCm 上的 vLLM;EXL2 是 ExLlamaV2 —— 仅限 CUDA,而且已经归档,适合本机使用而不适合提供服务。
常见问题
- Qwen3 32B Instruct 需要多少显存?
- 在 Q4_K_M、4K 上下文、batch 1 下约 21.9 GB,到 32K 时约 29.6 GB。这个数字是权重加 KV 缓存再加 10% 激活缓冲,由模型架构计算得出,不是在显卡上实测的。
- Qwen3 32B Instruct 能在 32GB 显卡上跑吗?
- 可以 —— 在 Q4_K_M、4K 上下文下约需 21.9 GB,在 RTX 5090 上还剩 10.1 GB,本索引中 4 张 32 GB 显卡都一样。这是能宽裕跑它的最小规格;105 张中有 26 张可以。
- Qwen3 32B Instruct 该用哪个量化档位?
- Q4_K_M 的公开质量损失最低(2.5%),而 Q4_K_M 是多数人使用的档位。索引中的 4 个档位是 Q3_K_M、Q4_K_M、EXL2 3.5bpw、AWQ INT4。
这个模型能跑在哪
按 Q4_K_M、4K 上下文估算,显存从小到大排列。「从容」指估算占用不超过显存的 88%。
此模型的显卡组合
怎么把它跑起来
针对本模型及同类硬件的部署指南。
本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-11-22 RSS → /zh/feed.xml