Qwen3 8B Instruct

8B

Alibaba Qwen3

最新 Qwen3 稠密 8B,支持思考模式,本地部署比 Qwen2.5 7B 全面升级。

252.0K HF 下载量243 点赞Qwen/Qwen3-8B-GGUF· 数据更新于 8/14/2026
消费级显卡Mac / 苹果芯片CPU / 轻量VPS

41K

最大上下文

4

量化变体

GGUF Q6_K

最佳质量

99.4%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式级别BPW显存PPL 损失速度来源操作
GGUFQ4_K_M4.855.8 GB2.8%142 tok/s实测
计算HF
GGUFQ6_K6.567.5 GB0.6%122 tok/s实测
计算HF
AWQINT445.1 GB3.8%205 tok/s实测
计算HF
EXL24.65bpw4.655.5 GB2.0%228 tok/s实测
计算HF