Qwen2.5 0.5B Instruct

0.5B

Alibaba Qwen2.5

最小 Qwen2.5,适合树莓派、手机端和超低延迟演示。

150.1K HF 下载量120 点赞Qwen/Qwen2.5-0.5B-Instruct-GGUF· 数据更新于 8/14/2026
消费级显卡Mac / 苹果芯片CPU / 轻量VPS

33K

最大上下文

2

量化变体

GGUF Q8_0

最佳质量

99.5%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式级别BPW显存PPL 损失速度来源操作
GGUFQ4_K_M4.850.6 GB5.2%620 tok/s估算
计算HF
GGUFQ8_08.50.9 GB0.5%540 tok/s估算
计算HF