GPT-OSS 20B

21B MoE

OpenAI GPT-OSS

OpenAI 开放权重 MoE（总 21B / 激活 3.6B），原生以 MXFP4 发布 —— 约 12.8GB，16GB 显卡即可跑且无额外精度损失。激活仅 3.6B，CPU 卸载也还能用。

⬇ 8.1M HF 下载量♥ 4913 点赞openai/gpt-oss-20b· 数据更新于 8/14/2026

消费级显卡Mac / 苹果芯片CPU / 轻量VPS

131K

最大上下文

量化变体

GGUF MXFP4

最佳质量

100.0%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	MXFP4	4.25	12.8 GB	0.0%	195 tok/s	社区	计算 HF
GGUF	Q8_0	5.1	13.8 GB	0.0%	178 tok/s	估算	计算 HF
GGUF	Q4_K_M	4.1	11.9 GB	1.4%	205 tok/s	估算	计算 HF

OpenAI GPT-OSS

GPT-OSS 大杯（总 117B / 激活 5.1B）。原生 MXFP4 权重约 61GB —— 单张 80GB 卡或 128GB 统一内存 Mac 可跑。24GB 消费卡部分卸载虽慢但可用。

Alibaba Qwen3

Qwen3 MoE，仅 3B 激活参数。Q4 约 19GB，16GB 显卡上超越 QwQ-32B。

ByteDance Seed

稠密 36B,原生 512K 上下文。Q4 权重约 22GB,单张 24GB 卡或 2×16GB 拆分即可 —— 但真正的开销是上下文:512K 的 KV cache 单独就约 128GB,所以要先规划上下文再考虑权重。

Alibaba Qwen2.5

24GB 显存单卡可运行 Q4_K_S，推理能力接近 GPT-4，性价比极高。

针对本模型及同类硬件的部署指南。