Jamba 1.5 Mini

12B

AI21 Labs

SSM-Transformer 混合架构，256K 上下文，16GB 显存可做长文档问答。

消费级显卡Mac / 苹果芯片

262K

最大上下文

2

量化变体

GGUF Q4_K_M

最佳质量

96.6%

精度保留率

计算显存 Hugging Face 对比

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	8.5 GB	3.4%	95 tok/s	估算	计算 HF
AWQ	INT4	4	7.5 GB	4.8%	125 tok/s	估算	计算 HF

相似模型

与 Qwen2.5 14B 对比

Qwen2.5 14B Instruct

Alibaba Qwen2.5

消费级显卡Mac / 苹果芯片

9.2 GB最低显存·98.6%精度

性能与资源消耗的最佳平衡点，Q4 量化仅需 16GB 显存。

Mistral Nemo 12B Instruct

Mistral AI

消费级显卡Mac / 苹果芯片

7.8 GB最低显存·99.1%精度

Mistral 与 NVIDIA 合作推出，128K 上下文，多语言能力出色。

Gemma 2 9B Instruct

Google Gemma 2

消费级显卡Mac / 苹果芯片

5.8 GB最低显存·99.8%精度

Google Gemma 2 采用滑动窗口注意力机制，性能超越同级 9B 模型。

Solar 10.7B Instruct

Upstage

消费级显卡Mac / 苹果芯片

6.5 GB最低显存·97.0%精度

深度扩展 10.7B 模型，性能超越参数量，推理基准表现出色。

怎么把它跑起来

针对本模型及同类硬件的部署指南。