InternLM2 7B Chat

Shanghai AI Lab

上海 AI Lab 强力中英双语 7B，性能与 Qwen 7B 相当。

⬇ 426 HF 下载量♥ 0 点赞bartowski/internlm2_5-7b-chat-GGUF· 数据更新于 8/14/2026

消费级显卡Mac / 苹果芯片CPU / 轻量VPS

33K

最大上下文

量化变体

GGUF Q4_K_M

最佳质量

96.9%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	5.5 GB	3.1%	148 tok/s	估算	计算 HF
AWQ	INT4	4	4.9 GB	4.3%	215 tok/s	估算	计算 HF

Shanghai AI Lab

中型 InternLM2，中文理解出色，Q4 量化可装入 24GB 显存。

Meta Llama 3.1

Meta 旗舰 8B 模型，128K 上下文，端侧部署最优选择之一。

Alibaba Qwen2.5

阿里 Qwen 系列 7B，性能远超同级，代码能力尤其突出。

Microsoft Phi

Microsoft 的小巧精悍之作，端侧部署最佳 4B 模型之一。

针对本模型及同类硬件的部署指南。