Llama 3.2 90B Vision Instruct

90B

Meta Llama 3.2

旗舰多模态 Llama,需双 4090 或 A100;视觉模块额外约 3GB 显存。

专业 GPU

131K

最大上下文

2

量化变体

GGUF Q4_K_M

最佳质量

97.2%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式级别BPW显存PPL 损失速度来源操作
GGUFQ4_K_M4.8554.8 GB2.8%22 tok/s估算
计算HF
GGUFQ3_K_M3.8744.2 GB6.5%28 tok/s估算
计算HF