Mac M4 24G 能跑哪些大模型？

Mac M4 24G 的简短答案

24 GB，120 GB/s。索引中 87 个模型里有 54 个能在 4K 上下文下从容运行，61 个至少能加载。

能装下的最大模型

Qwen3-VL 30B-A3B Instruct — Q3_K_M 下约 15.8 GB —— 4K 时仅剩 2.2 GB，上下文再拉长就要动用这点余量。

留有余量的选择

DeepSeek-Coder-V2-Lite Instruct — Q4_K_M 下约 10.1 GB —— 占用不到显存的 60%，留下 7.9 GB 给长上下文或第二个进程。

速度上限

Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 120 GB/s 给出的硬上限约为 26 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录，因此无法与这个上限对照。

你会先撞到的墙

瓶颈是 GPU 能用到的那部分统一内存，而不是标称的 24 GB。macOS 会为系统保留一部分，并限制单个进程可以锁定的内存量，因此实际预算明显低于标称值 —— 这个上限可以调整（`iogpu.wired_limit_mb`），但它确实存在。带宽为 120 GB/s，模型装下之后，决定 tok/s 的就是这个数字。