Granite 3.1 8B Instruct
8BIBM Granite
IBM 企业级 8B 模型，RAG 和工具调用能力强，Apache 2.0 许可。
消费级显卡Mac / 苹果芯片CPU / 轻量VPS
131K
最大上下文
2
量化变体
GGUF Q4_K_M
最佳质量
97.0%
精度保留率
量化变体对比
各量化级别的显存、质量损失及 RTX 4090 推理速度
实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告
相似模型
与 Qwen2.5 7B 对比7B
Qwen2.5 7B Instruct
Alibaba Qwen2.5
消费级显卡Mac / 苹果芯片
4.8 GB最低显存·99.3%精度
阿里 Qwen 系列 7B，性能远超同级，代码能力尤其突出。
3.8B
Phi-4 Mini Instruct
Microsoft Phi
消费级显卡Mac / 苹果芯片
2.5 GB最低显存·99.8%精度
最新 Phi mini，数学和代码能力提升，4B 级性能强者。
7B
DeepSeek-R1-Distill-Qwen-7B
DeepSeek
消费级显卡Mac / 苹果芯片
5.2 GB最低显存·97.8%精度
7B 体量的 R1 推理能力，8–12GB 显存思维链实验性价比最高。
8B
Qwen3 8B Instruct
Alibaba Qwen3
消费级显卡Mac / 苹果芯片
5.1 GB最低显存·99.4%精度
最新 Qwen3 稠密 8B，支持思考模式，本地部署比 Qwen2.5 7B 全面升级。