没有独立显卡,能跑多大的本地模型?
按内存容量查看纯 CPU 电脑和苹果芯片 Mac 可选的 GGUF 模型。分别对照系统内存与统一内存,查看四千上下文下的量化版本和预计内存占用。
按 4096 tokens 上下文、单路文本推理估算。
纯 CPU · 系统内存
用 llama.cpp 在 CPU 上加载 GGUF。关闭占用内存较多的应用,给系统留下空间。实际生成速度还取决于 CPU 和内存带宽。
| 内存 | 对话模型示例 |
|---|---|
| 16 GB | Xing4.0 29B-A4B GGUF · Q2_K · 13.6 GiB |
| 32 GB | Kolibri-1 78B-A3.5B GGUF · IQ2_XS · 25.6 GiB |
| 64 GB | Llama 4 Scout 17B (16E) GGUF · Q3_K_M · 55.9 GiB |
| 128 GB | Qwen3.8-Flash-Next GGUF · Q4_K_M · 79.3 GiB |
Mac 统一内存
GPU 与系统共享内存。本站按统一内存的 75% 计算可用预算,再筛选有余量的模型。
| 内存 | 对话模型示例 |
|---|---|
| 16 GB | Hy-Memory-30B-A3B GGUF · Q8_0-expsIQ2_XXS · 9.9 GiB |
| 24 GB | Xing4.0 29B-A4B GGUF · IQ3_XXS · 15.3 GiB |
| 36 GB | Kolibri-1 78B-A3.5B GGUF · IQ1_M · 20.9 GiB |
| 48 GB | Kolibri-1 78B-A3.5B GGUF · IQ2_XS · 25.6 GiB |
| 64 GB | GLM-4.5-Air GGUF · Q2_K · 37.2 GiB |
| 128 GB | Qwen3.8-Flash-Next GGUF · Q4_K_M · 79.3 GiB |