Qwen3-VL 30B-A3B Instruct

30B-A3B

Alibaba Qwen3-VL

多模态 MoE,激活参数仅约 3B,因此在苹果统一内存上依然跟手,CPU 卸载的表现也远好于稠密 30B。Q4 约 19GB,24GB 显卡可完整放下。

⬇ 406.2K HF 下载量♥ 591 点赞Qwen/Qwen3-VL-30B-A3B-Instruct· 数据更新于 8/14/2026

消费级显卡专业 GPUMac / 苹果芯片

41K

最大上下文

量化变体

GGUF Q8_0

最佳质量

99.7%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	19.0 GB	2.6%	95 tok/s	社区	计算 HF
GGUF	Q3_K_M	3.87	15.2 GB	5.4%	104 tok/s	估算	计算 HF
GGUF	Q8_0	8.5	32.6 GB	0.3%	78 tok/s	估算	计算 HF
AWQ	INT4	4	17.2 GB	3.7%	112 tok/s	估算	计算 HF

Alibaba Qwen3-VL

当代视觉语言模型,Q4 约 5.9GB,单张 8–12GB 卡仍可跑。没有 24GB 显卡的人做多模态的现实选择 —— 注意视觉编码器会额外占用显存,下方 KV cache 计算并未包含这部分。

Google Gemma 3

Gemma 3 大杯指令版，长上下文 + 多模态。Q4 约 16GB，适合 24GB 卡或双卡短上下文。

Mistral Magistral

Mistral 基于 Mistral Small 3.2 的推理模型,思维链包在 [THINK] 标签内。Q4 约 14GB,让显式思维链落到 16GB 显卡上 —— 比多数教程默认的 70B 级推理模型低一档。

ByteDance Seed

稠密 36B,原生 512K 上下文。Q4 权重约 22GB,单张 24GB 卡或 2×16GB 拆分即可 —— 但真正的开销是上下文:512K 的 KV cache 单独就约 128GB,所以要先规划上下文再考虑权重。

针对本模型及同类硬件的部署指南。