Qwen3 4B Instruct

Alibaba Qwen3

最小 Qwen3 稠密模型，支持思考模式。Q4 约 3.2GB，适合 8GB 显卡与边缘设备。

⬇ 254.3K HF 下载量♥ 143 点赞Qwen/Qwen3-4B-GGUF· 数据更新于 8/14/2026

消费级显卡Mac / 苹果芯片CPU / 轻量VPS

33K

最大上下文

量化变体

GGUF Q6_K

最佳质量

99.3%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	3.2 GB	2.9%	168 tok/s	实测	计算 HF
GGUF	Q6_K	6.56	4.1 GB	0.7%	145 tok/s	实测	计算 HF
AWQ	INT4	4	2.8 GB	3.8%	225 tok/s	实测	计算 HF
EXL2	4.65bpw	4.65	3.0 GB	2.1%	248 tok/s	实测	计算 HF

Alibaba Qwen3

最新 Qwen3 稠密 8B，支持思考模式，本地部署比 Qwen2.5 7B 全面升级。

Alibaba Qwen3

Qwen3 14B — 2026 Qwen 系列中推理能力与显存占用的最佳平衡点。

Alibaba Qwen3

Qwen3 MoE，仅 3B 激活参数。Q4 约 19GB，16GB 显卡上超越 QwQ-32B。

Alibaba Qwen3

Qwen3 稠密 32B — Qwen2.5-32B 继任者，推理与思考模式全面升级。

针对本模型及同类硬件的部署指南。