24GB 能跑的最好的本地大模型
结论： 通用场景选 Recursive Flint 40B-A2.5B（Q3_K_M）—— 24GB 中占 20.6 GB，剩 3.4 GB。另外：MiniCPM-V 4.7 35B-A3B (图像)。
这里的「最好」指的是：在留有余量的前提下，本类别中能装进这张卡的最大模型，并取仍装得下的最高质量档位。本索引衡量的是显存占用与已公开的困惑度，不是任务质量 —— 它无法告诉你哪个模型答得更好，也不会假装可以。
推荐
| 用途 | 模型 | 量化档位 | 预估显存 | 余量 | 损失 | 理由 |
|---|---|---|---|---|---|---|
| 通用 · 写代码 | Recursive Flint 40B-A2.5B40B-A2.5B | Q3_K_M | 20.6 GB | 3.4 GB | — | 这个显存预算下能装进的最大模型（不分类别）。该量化版本没有公开困惑度数据，因此这里不给数字。上下文超过 16K 后，KV 缓存会让它超出显存。下载这个文件： bartowski/RecursiveSI_flint-GGUF · RecursiveSI_flint-Q3_K_M.gguf · 19.53 GB · 2026-10-23 核对 |
| 图像 | MiniCPM-V 4.7 35B-A3B35B-A3B | Q4_K_S | 20.9 GB | 3.1 GB | — | 本类别中仍留有余量的最大模型。该量化版本没有公开困惑度数据，因此这里不给数字。仅限 4K 上下文 —— 更长的窗口装不下。下载这个文件： openbmb/MiniCPM-V-4.7-35B-A3B-gguf · MiniCPM-V-4_7-35B-A3B-Q4_K_S.gguf · 19.89 GB · 另需视觉投影 1.12 GB · 2026-10-20 核对 |
按 4K 上下文加 10% 激活缓冲估算；索引中 125 个模型有 94 个能从容装进这个预算。「损失」是量化发布者公布的相对 FP16 困惑度，没有公布的显示为短横线。
适用于这些显卡
能不能装下完全由容量决定，所以这里每张卡返回的清单都一样。不同的是读取权重的速度 —— 每张卡自己的页面标注了带宽以及它意味着什么。
装不下的是什么
最接近的是 K2 Horizon MoVA 36B-A4B。它在本索引中最小的构建 Q4_K_M 约需 24.2 GB —— 比 24GB 超出 0.2 GB，而且这还没算 4K 以外的上下文。卸载到系统内存确实能加载，但速度将由内存决定 —— 那是另一台机器，不是换个更小的量化档位。
上下文拉长之后
在 4K 上下文下有 94 个模型能从容装下，16K 时是 90 个，32K 时是 80 个。权重没变 —— 涨的是 KV 缓存。
按你的实际上下文长度计算常见问题
2026 年 24 GB显存最适合跑哪个本地大模型？
通用场景选 Recursive Flint 40B-A2.5B（Q3_K_M）—— 24 GB 中占 20.6 GB，剩 3.4 GB。要处理图像就选 MiniCPM-V 4.7 35B-A3B。这里的「最好」指的是本类别中能留有余量装进这张卡的最大模型 —— 本索引衡量的是显存与已公开的困惑度，不是任务质量，因此无法就「答得好不好」给模型排名。
24 GB 能装下多少个模型？
本索引 125 个模型中有 94 个能在 4K 上下文下从容装下 —— 「从容」指估算占用不超过显存的 88%，给显示输出和运行时留出余量。到 16K 时降到 90 个，32K 时是 80 个：变化的是 KV 缓存，不是权重。
24 GB 跑不了什么？
最接近的是 K2 Horizon MoVA 36B-A4B：它在本站最小的构建 Q4_K_M 约需 24.2 GB —— 超出 0.2 GB，而且这还没算 4K 以外的上下文。把一部分权重卸载到系统内存确实能加载，但速度将由内存决定而不是由你的显卡决定；那是另一台机器，不是换个更小的量化档位。
所有 24 GB 的卡跑的模型都一样吗？
装得下的模型是一样的 —— 能不能装下完全由容量决定，所以这一档的 4 张卡返回的是同一份清单。不同的是读取权重的速度：每生成一个 token 都要把整套权重读一遍，所以显存带宽决定了上限，而显存相同的两张卡在这一项上可以相差 2.5 倍以上。每张卡自己的页面都标注了带宽及其含义。