Seed-OSS 36B Instruct

36B

ByteDance Seed

稠密 36B,原生 512K 上下文。Q4 权重约 22GB,单张 24GB 卡或 2×16GB 拆分即可 —— 但真正的开销是上下文:512K 的 KV cache 单独就约 128GB,所以要先规划上下文再考虑权重。

⬇ 42.2K HF 下载量♥ 505 点赞ByteDance-Seed/Seed-OSS-36B-Instruct· 数据更新于 8/14/2026

消费级显卡专业 GPUMac / 苹果芯片

524K

最大上下文

量化变体

GGUF Q5_K_M

最佳质量

98.7%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	21.8 GB	2.7%	42 tok/s	社区	计算 HF
GGUF	Q3_K_M	3.87	17.4 GB	5.6%	48 tok/s	估算	计算 HF
GGUF	Q5_K_M	5.68	25.6 GB	1.3%	37 tok/s	估算	计算 HF
AWQ	INT4	4	19.5 GB	3.8%	55 tok/s	估算	计算 HF

Alibaba Qwen2.5

24GB 显存单卡可运行 Q4_K_S，推理能力接近 GPT-4，性价比极高。

DeepSeek

R1 蒸馏至 32B，单卡 24GB（Q3/Q4）即可接近前沿推理能力。

Alibaba Qwen3

Qwen3 稠密 32B — Qwen2.5-32B 继任者，推理与思考模式全面升级。

Alibaba Qwen3

Qwen3 MoE，仅 3B 激活参数。Q4 约 19GB，16GB 显卡上超越 QwQ-32B。

针对本模型及同类硬件的部署指南。