Mistral 7B Instruct v0.3

Mistral AI

经典 Mistral 7B v0.3，仍是本地对话 API 的可靠基线。

⬇ 23.9K HF 下载量♥ 46 点赞bartowski/Mistral-7B-Instruct-v0.3-GGUF· 数据更新于 8/14/2026

消费级显卡Mac / 苹果芯片CPU / 轻量VPS

33K

最大上下文

量化变体

GGUF Q6_K

最佳质量

99.1%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	5.2 GB	3.2%	158 tok/s	估算	计算 HF
GGUF	Q6_K	6.56	6.8 GB	0.9%	135 tok/s	估算	计算 HF
AWQ	INT4	4	4.6 GB	4.5%	225 tok/s	估算	计算 HF

Mistral AI

Mistral 与 NVIDIA 合作推出，128K 上下文，多语言能力出色。

Mistral AI

Mistral 高效 24B 模型，多语言能力强，Q4 量化可装入 24GB 显存。

Mistral AI

经典 MoE 模型，每 token 约 13B 激活参数，Q4 量化需 32GB+ 显存。

Mistral AI

Mistral 3 旗舰 MoE（激活 41B / 总 675B），含视觉编码器。FP8 需 8×H200；GGUF 量化仅供研究集群。

针对本模型及同类硬件的部署指南。