Qwen2.5 3B Instruct
3BAlibaba Qwen2.5
Qwen2.5 迷你版，适合边缘设备，4GB 显存或树莓派级别硬件即可运行。
消费级显卡Mac / 苹果芯片CPU / 轻量VPS
33K
最大上下文
2
量化变体
GGUF Q8_0
最佳质量
99.7%
精度保留率
量化变体对比
各量化级别的显存、质量损失及 RTX 4090 推理速度
实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告
0.5B
Qwen2.5 0.5B Instruct
Alibaba Qwen2.5
消费级显卡Mac / 苹果芯片
0.6 GB最低显存·99.5%精度
最小 Qwen2.5，适合树莓派、手机端和超低延迟演示。
1.5B
Qwen2.5 1.5B Instruct
Alibaba Qwen2.5
消费级显卡Mac / 苹果芯片
1.4 GB最低显存·99.6%精度
支持 128K 上下文的微型 Qwen，摘要和对话能力出人意料。
7B
Qwen2.5 7B Instruct
Alibaba Qwen2.5
消费级显卡Mac / 苹果芯片
4.8 GB最低显存·99.3%精度
阿里 Qwen 系列 7B，性能远超同级，代码能力尤其突出。
14B
Qwen2.5 14B Instruct
Alibaba Qwen2.5
消费级显卡Mac / 苹果芯片
9.2 GB最低显存·98.6%精度
性能与资源消耗的最佳平衡点，Q4 量化仅需 16GB 显存。