没有独立显卡,能跑多大的本地模型?

按内存容量查看纯 CPU 电脑和苹果芯片 Mac 可选的 GGUF 模型。分别对照系统内存与统一内存,查看四千上下文下的量化版本和预计内存占用。

按 4096 tokens 上下文、单路文本推理估算。

纯 CPU · 系统内存

用 llama.cpp 在 CPU 上加载 GGUF。关闭占用内存较多的应用,给系统留下空间。实际生成速度还取决于 CPU 和内存带宽。

内存对话模型示例
16 GB
Xing4.0 29B-A4B
GGUF · Q2_K · 13.6 GiB
32 GB
Kolibri-1 78B-A3.5B
GGUF · IQ2_XS · 25.6 GiB
64 GB
Llama 4 Scout 17B (16E)
GGUF · Q3_K_M · 55.9 GiB
128 GB
Qwen3.8-Flash-Next
GGUF · Q4_K_M · 79.3 GiB

Mac 统一内存

GPU 与系统共享内存。本站按统一内存的 75% 计算可用预算,再筛选有余量的模型。

内存对话模型示例
16 GB
Hy-Memory-30B-A3B
GGUF · Q8_0-expsIQ2_XXS · 9.9 GiB
24 GB
Xing4.0 29B-A4B
GGUF · IQ3_XXS · 15.3 GiB
36 GB
Kolibri-1 78B-A3.5B
GGUF · IQ1_M · 20.9 GiB
48 GB
Kolibri-1 78B-A3.5B
GGUF · IQ2_XS · 25.6 GiB
64 GB
GLM-4.5-Air
GGUF · Q2_K · 37.2 GiB
128 GB
Qwen3.8-Flash-Next
GGUF · Q4_K_M · 79.3 GiB