Stable LM 2 12B Chat
12BStability AI
Stability AI 12B 对话模型，16GB 显卡通用之选。
消费级显卡Mac / 苹果芯片
4K
最大上下文
2
量化变体
GGUF Q4_K_M
最佳质量
96.8%
精度保留率
量化变体对比
各量化级别的显存、质量损失及 RTX 4090 推理速度
实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告
相似模型
与 Qwen2.5 14B 对比14B
Qwen2.5 14B Instruct
Alibaba Qwen2.5
消费级显卡Mac / 苹果芯片
9.2 GB最低显存·98.6%精度
性能与资源消耗的最佳平衡点，Q4 量化仅需 16GB 显存。
12B
Mistral Nemo 12B Instruct
Mistral AI
消费级显卡Mac / 苹果芯片
7.8 GB最低显存·99.1%精度
Mistral 与 NVIDIA 合作推出，128K 上下文，多语言能力出色。
9B
Gemma 2 9B Instruct
Google Gemma 2
消费级显卡Mac / 苹果芯片
5.8 GB最低显存·99.8%精度
Google Gemma 2 采用滑动窗口注意力机制，性能超越同级 9B 模型。
11B
Solar 10.7B Instruct
Upstage
消费级显卡Mac / 苹果芯片
6.5 GB最低显存·97.0%精度
深度扩展 10.7B 模型，性能超越参数量，推理基准表现出色。