DeepSeek-V3

671B MoE

DeepSeek

DeepSeek-V3 前沿 MoE(激活约 37B / 总 671B)。MLA + FP8;Q4 需多节点 GPU 集群。

953.5K HF 下载量4171 点赞deepseek-ai/DeepSeek-V3· 数据更新于 8/14/2026
专业 GPU

164K

最大上下文

2

量化变体

GGUF Q4_K_M

最佳质量

98.0%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式级别BPW显存PPL 损失速度来源操作
GGUFQ4_K_M4.85385.0 GB2.0%4 tok/s估算
计算HF
GGUFQ3_K_M3.87310.0 GB4.5%5 tok/s估算
计算HF