DeepSeek-R1-Distill-Llama-70B

70B

DeepSeek

R1 推理能力注入 Llama 70B 架构，双卡部署的顶级开源推理模型。

⬇ 25.0K HF 下载量♥ 45 点赞bartowski/DeepSeek-R1-Distill-Llama-70B-GGUF· 数据更新于 8/14/2026

专业 GPU

131K

最大上下文

量化变体

GGUF Q4_K_M

最佳质量

97.6%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	43.5 GB	2.4%	36 tok/s	估算	计算 HF
AWQ	INT4	4	38.2 GB	3.5%	52 tok/s	估算	计算 HF

DeepSeek

DeepSeek-V3 前沿 MoE（激活约 37B / 总 671B）。MLA + FP8；Q4 需多节点 GPU 集群。

DeepSeek

基于 V3 MoE 的 DeepSeek-R1 推理模型。前沿级思维链 — 本地 GPU 请用蒸馏版。

DeepSeek

R1 蒸馏至 32B，单卡 24GB（Q3/Q4）即可接近前沿推理能力。

DeepSeek

R1 推理能力蒸馏至 14B，社区热度极高，思维链能力出色。

针对本模型及同类硬件的部署指南。