Llama 3.2 11B Vision Instruct

11B

Meta Llama 3.2

多模态 Llama,支持图像理解。视觉编码器额外增加约 2GB 显存开销。

消费级显卡Mac / 苹果芯片

131K

最大上下文

2

量化变体

GGUF Q8_0

最佳质量

99.5%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式级别BPW显存PPL 损失速度来源操作
GGUFQ4_K_M4.859.5 GB3.5%88 tok/s估算
计算HF
GGUFQ8_08.514.2 GB0.5%72 tok/s估算
计算HF