18GB M3 Pro
坚持 7–8B Q4 模型。除非接受极短上下文,否则避免 14B+。
text
✓ Llama 3.1 8B Q4_K_M (ctx 8K)
✓ Qwen2.5 7B Q4_K_M
✗ Qwen2.5 14B Q4_K_M (needs 36GB+)36GB M3 Pro
14B Q4_K_M + 8K 上下文运行良好。32B 需 Q3 或大幅缩减上下文。
bash
ollama pull qwen2.5:14b
ollama run qwen2.5:14b接下来
看看 🍎 Mac M3 Pro 18G 还能跑哪些模型反向查询 —— 18GB、8192 上下文,按质量排序本文涉及的模型
相关指南
部署指南仅供学习参考。每个模型均有独立许可协议 — 下载或部署前请阅读 Hugging Face 官方模型卡。