DBRX Instruct

132B

Databricks

MoE 旗舰（激活约 36B），需多卡；大规模代码与推理能力强。

专业 GPU

33K

最大上下文

量化变体

GGUF Q4_K_M

最佳质量

97.5%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	78.5 GB	2.5%	15 tok/s	估算	计算 HF
GGUF	Q3_K_M	3.87	63.2 GB	5.8%	18 tok/s	估算	计算 HF

Alibaba Qwen3

Qwen3 旗舰 MoE（激活 22B / 总 235B）。Q4_K_M 约 142GB，对标 DeepSeek-R1 级模型。

DeepSeek

DeepSeek-V3 前沿 MoE（激活约 37B / 总 671B）。MLA + FP8；Q4 需多节点 GPU 集群。

DeepSeek

基于 V3 MoE 的 DeepSeek-R1 推理模型。前沿级思维链 — 本地 GPU 请用蒸馏版。

Mistral AI

Mistral 3 旗舰 MoE（激活 41B / 总 675B），含视觉编码器。FP8 需 8×H200；GGUF 量化仅供研究集群。

针对本模型及同类硬件的部署指南。