Llama 3.1 70B Instruct

70B

Meta Llama 3.1

Meta 前沿 70B 模型，需要 40GB+ 显存，适合双 3090 或 M2 Ultra。

⬇ 27.9K HF 下载量♥ 73 点赞bartowski/Meta-Llama-3.1-70B-Instruct-GGUF· 数据更新于 8/14/2026

专业 GPUMac / 苹果芯片

131K

最大上下文

量化变体

GGUF Q5_K_M

最佳质量

98.8%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	43.5 GB	2.8%	38 tok/s	估算	计算 HF
GGUF	Q5_K_M	5.68	49.8 GB	1.2%	32 tok/s	估算	计算 HF
AWQ	INT4	4	38.2 GB	3.9%	55 tok/s	估算	计算 HF
EXL2	3.5bpw	3.5	33.4 GB	5.2%	62 tok/s	估算	计算 HF

Meta Llama 3.1

Meta 前沿稠密 405B，Q4 约需 230GB+ 显存；双 H100 80G 或 8 卡消费级方案。

Meta Llama 3.1

Meta 旗舰 8B 模型，128K 上下文，端侧部署最优选择之一。

Meta Llama 3.3

Meta 最新 70B，多语言能力提升，可无缝替换 Llama 3.1 70B。

OpenAI GPT-OSS

GPT-OSS 大杯（总 117B / 激活 5.1B）。原生 MXFP4 权重约 61GB —— 单张 80GB 卡或 128GB 统一内存 Mac 可跑。24GB 消费卡部分卸载虽慢但可用。

针对本模型及同类硬件的部署指南。