Qwen2.5 14B Instruct

14B

Alibaba Qwen2.5

性能与资源消耗的最佳平衡点,Q4 量化仅需 16GB 显存。

24.3K HF 下载量63 点赞Qwen/Qwen2.5-14B-Instruct-GGUF· 数据更新于 8/14/2026
消费级显卡Mac / 苹果芯片

131K

最大上下文

4

量化变体

GGUF Q5_K_M

最佳质量

98.6%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式级别BPW显存PPL 损失速度来源操作
GGUFQ4_K_M4.8510.2 GB2.9%98 tok/s估算
计算HF
GGUFQ5_K_M5.6811.8 GB1.4%86 tok/s估算
计算HF
AWQINT449.2 GB3.8%128 tok/s估算
计算HF
EXL24.65bpw4.659.8 GB2.1%138 tok/s估算
计算HF