DeepSeek-R1-Distill-Llama-8B

DeepSeek

R1 推理蒸馏到 Llama 3.1 8B。8–12GB 显卡上最佳思维链之一，社区 GGUF 极丰富。

⬇ 9.8K HF 下载量♥ 53 点赞bartowski/DeepSeek-R1-Distill-Llama-8B-GGUF· 数据更新于 8/14/2026

消费级显卡Mac / 苹果芯片CPU / 轻量VPS

131K

最大上下文

量化变体

GGUF Q5_K_M

最佳质量

98.8%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	5.6 GB	2.6%	145 tok/s	社区	计算 HF
GGUF	Q5_K_M	5.68	6.5 GB	1.2%	128 tok/s	估算	计算 HF
EXL2	4.65bpw	4.65	5.3 GB	1.9%	210 tok/s	估算	计算 HF
AWQ	INT4	4	4.9 GB	3.5%	188 tok/s	估算	计算 HF

DeepSeek

7B 体量的 R1 推理能力，8–12GB 显存思维链实验性价比最高。

DeepSeek

MoE 通用模型（激活约 2.4B），长上下文，多语言对话能力强。

DeepSeek

R1 推理能力蒸馏至 14B，社区热度极高，思维链能力出色。

DeepSeek

R1 蒸馏至 32B，单卡 24GB（Q3/Q4）即可接近前沿推理能力。

针对本模型及同类硬件的部署指南。