Llama 3.1 405B Instruct
405BMeta Llama 3.1
Meta 前沿稠密 405B，Q4 约需 230GB+ 显存；双 H100 80G 或 8 卡消费级方案。
专业 GPU
131K
最大上下文
3
量化变体
GGUF Q4_K_M
最佳质量
97.7%
精度保留率
量化变体对比
各量化级别的显存、质量损失及 RTX 4090 推理速度
实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告
相似模型
与 Llama 3.1 对比70B
Llama 3.1 70B Instruct
Meta Llama 3.1
专业 GPUMac / 苹果芯片
33.4 GB最低显存·98.8%精度
Meta 前沿 70B 模型，需要 40GB+ 显存，适合双 3090 或 M2 Ultra。
8B
Llama 3.1 8B Instruct
Meta Llama 3.1
消费级显卡Mac / 苹果芯片
3.2 GB最低显存·99.9%精度
Meta 旗舰 8B 模型，128K 上下文，端侧部署最优选择之一。
72B
Qwen2.5 72B Instruct
Alibaba Qwen2.5
专业 GPU
33.8 GB最低显存·98.9%精度
Qwen2.5 旗舰模型，需双 4090 或 A100 80G，大规模推理能力卓越。
70B
Llama 3.3 70B Instruct
Meta Llama 3.3
专业 GPUMac / 苹果芯片
38.2 GB最低显存·99.0%精度
Meta 最新 70B，多语言能力提升，可无缝替换 Llama 3.1 70B。