DeepSeek-V2-Lite Chat

16B

DeepSeek

MoE 通用模型(激活约 2.4B),长上下文,多语言对话能力强。

消费级显卡Mac / 苹果芯片

164K

最大上下文

2

量化变体

GGUF Q4_K_M

最佳质量

97.0%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式级别BPW显存PPL 损失速度来源操作
GGUFQ4_K_M4.8511.0 GB3.0%142 tok/s估算
计算HF
AWQINT449.6 GB4.0%188 tok/s估算
计算HF