4K
最大上下文
2
量化变体
GGUF Q4_K_M
最佳质量
97.2%
精度保留率
量化变体对比
各量化级别的显存、质量损失及 RTX 4090 推理速度
实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告
相似模型
与 Qwen2.5 32B 对比32B
Qwen2.5 32B Instruct
Alibaba Qwen2.5
消费级显卡专业 GPU
16.4 GB最低显存·97.3%精度
24GB 显存单卡可运行 Q4_K_S，推理能力接近 GPT-4，性价比极高。
24B
Mistral Small 24B Instruct
Mistral AI
消费级显卡专业 GPU
13.5 GB最低显存·97.8%精度
Mistral 高效 24B 模型，多语言能力强，Q4 量化可装入 24GB 显存。
27B
Gemma 2 27B Instruct
Google Gemma 2
消费级显卡专业 GPU
16.2 GB最低显存·98.7%精度
最大开源 Gemma 2，推理能力强，Q4 量化需 24GB+ 显存。
32B
DeepSeek-R1-Distill-Qwen-32B
DeepSeek
消费级显卡专业 GPU
16.8 GB最低显存·97.4%精度
R1 蒸馏至 32B，单卡 24GB（Q3/Q4）即可接近前沿推理能力。