Command R 35B
35BCohere
Cohere RAG 优化模型，检索增强生成能力出色。
专业 GPU
131K
最大上下文
2
量化变体
GGUF Q4_K_M
最佳质量
97.0%
精度保留率
量化变体对比
各量化级别的显存、质量损失及 RTX 4090 推理速度
实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告
相似模型
与 Qwen2.5 32B 对比32B
Qwen2.5 32B Instruct
Alibaba Qwen2.5
消费级显卡专业 GPU
16.4 GB最低显存·97.3%精度
24GB 显存单卡可运行 Q4_K_S，推理能力接近 GPT-4，性价比极高。
24B
Mistral Small 24B Instruct
Mistral AI
消费级显卡专业 GPU
13.5 GB最低显存·97.8%精度
Mistral 高效 24B 模型，多语言能力强，Q4 量化可装入 24GB 显存。
34B
Yi 1.5 34B Chat
01.AI Yi
消费级显卡专业 GPU
19.8 GB最低显存·97.2%精度
01.AI 强力中英双语模型，性能与 Qwen 32B 相当。
27B
Gemma 2 27B Instruct
Google Gemma 2
消费级显卡专业 GPU
16.2 GB最低显存·98.7%精度
最大开源 Gemma 2，推理能力强，Q4 量化需 24GB+ 显存。