Llama 3.1 8B Instruct

8B

Meta Llama 3.1

Meta 旗舰 8B 模型，128K 上下文，端侧部署最优选择之一。

⬇ 289.0K HF 下载量♥ 391 点赞bartowski/Meta-Llama-3.1-8B-Instruct-GGUF· 数据更新于 8/14/2026

消费级显卡Mac / 苹果芯片CPU / 轻量VPS

131K

最大上下文

6

量化变体

GGUF Q8_0

最佳质量

99.9%

精度保留率

计算显存 Hugging Face 对比

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q2_K	2.63	3.2 GB	48.5%	210 tok/s	实测	计算 HF
GGUF	Q4_K_M	4.85	5.7 GB	3.2%	148 tok/s	实测	计算 HF
GGUF	Q6_K	6.56	7.4 GB	0.8%	128 tok/s	实测	计算 HF
GGUF	Q8_0	8.5	9.1 GB	0.1%	118 tok/s	实测	计算 HF
AWQ	INT4	4	4.9 GB	4.5%	218 tok/s	实测	计算 HF
EXL2	4.65bpw	4.65	5.4 GB	2.5%	235 tok/s	实测	计算 HF

相似模型

与 Llama 3.1 对比

Llama 3.1 70B Instruct

Meta Llama 3.1

专业 GPUMac / 苹果芯片

33.4 GB最低显存·98.8%精度

Meta 前沿 70B 模型，需要 40GB+ 显存，适合双 3090 或 M2 Ultra。

Llama 3.1 405B Instruct

Meta Llama 3.1

192.0 GB最低显存·97.7%精度

Meta 前沿稠密 405B，Q4 约需 230GB+ 显存；双 H100 80G 或 8 卡消费级方案。

Qwen2.5 7B Instruct

Alibaba Qwen2.5

消费级显卡Mac / 苹果芯片

4.8 GB最低显存·99.3%精度

阿里 Qwen 系列 7B，性能远超同级，代码能力尤其突出。

Phi-3.5 Mini Instruct

Microsoft Phi

消费级显卡Mac / 苹果芯片

2.5 GB最低显存·99.8%精度

Microsoft 的小巧精悍之作，端侧部署最佳 4B 模型之一。

怎么把它跑起来

针对本模型及同类硬件的部署指南。