Gemma 2 2B Instruct

Google Gemma 2

超紧凑 Gemma 2，4GB 显存即可运行，适合边缘原型开发。

⬇ 82.4K HF 下载量♥ 100 点赞bartowski/gemma-2-2b-it-GGUF· 数据更新于 8/14/2026

消费级显卡Mac / 苹果芯片CPU / 轻量VPS

最大上下文

量化变体

GGUF Q8_0

最佳质量

99.7%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	2.0 GB	3.8%	380 tok/s	估算	计算 HF
GGUF	Q8_0	8.5	3.2 GB	0.3%	320 tok/s	估算	计算 HF
AWQ	INT4	4	1.8 GB	5.0%	450 tok/s	估算	计算 HF

Google Gemma 2

Google Gemma 2 采用滑动窗口注意力机制，性能超越同级 9B 模型。

Google Gemma 2

最大开源 Gemma 2，推理能力强，Q4 量化需 24GB+ 显存。

Meta Llama 3.2

小巧而实用，4GB 显存或 8GB 内存即可运行，甚至可在手机端通过 llama.cpp 运行。

Alibaba Qwen2.5

Qwen2.5 迷你版，适合边缘设备，4GB 显存或树莓派级别硬件即可运行。

针对本模型及同类硬件的部署指南。