48GB 显存

Mac M3 Max 48G 能跑哪些大模型？

在 48GB、4K 上下文下，索引中 110 个模型有 88 个可从容运行，各自取仍留有余量的最高质量档位。

Mac M3 Max 48G 的简短答案

48 GB，400 GB/s Unified LPDDR5。索引中 110 个模型里有 88 个能在 4K 上下文下从容运行，90 个至少能加载。

能装下的最大模型
Nemotron 3.5 Bolt 74B-A9B — IQ2_XXS 下约 23.1 GB —— 4K 时仅剩 13.0 GB，上下文再拉长就要动用这点余量。
留有余量的选择
Nemotron 3.5 Lightning 30B-A3B — Q4_0 下约 19.8 GB —— 占用不到显存的 60%，留下 16.2 GB 给长上下文或第二个进程。
速度上限
Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 400 GB/s 给出的硬上限约为 87 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本索引在这张卡上有 1 条实测记录，实际结果见下方表格。
你会先撞到的墙
瓶颈是 GPU 能用到的那部分统一内存，而不是标称的 48 GB。macOS 会为系统保留一部分，并限制单个进程可以锁定的内存量，因此实际预算明显低于标称值 —— 这个上限可以调整（`iogpu.wired_limit_mb`），但它确实存在。带宽为 400 GB/s，模型装下之后，决定 tok/s 的就是这个数字。
Apple 芯片 能跑的最好的本地大模型

70B+ · 1

Mac M3 Max 48G 能跑哪些大模型？ — 70B+
模型量化档位预估显存余量tok/s
Nemotron 3.5 Bolt 74B-A9B74B-A9BIQ2_XXS23.05 GB+13 GB≤157天花板

32B · 30

Mac M3 Max 48G 能跑哪些大模型？ — 32B
模型量化档位预估显存余量tok/s
Kimi Linear 48B-A3B Instruct48B-A3BQ4_K_M30.44 GB+5.6 GB≤232天花板
Mixtral 8x7B Instruct47B MoEQ4_K_M30.13 GB+5.9 GB≤54天花板
Seed-OSS 36B Instruct36BQ5_K_M27.81 GB+8.2 GB≤16天花板
Qwen3.6 35B-A3B35B-A3BQ4_K_M23.38 GB+12.6 GB≤224天花板
Command R 35B35BQ4_K_M22.86 GB+13.1 GB≤20天花板
Yi 1.5 34B Chat34BQ4_K_M22.82 GB+13.2 GB≤20天花板
Qwen3 32B Instruct32BQ4_K_M21.85 GB+14.2 GB13–17推算
Qwen2.5 32B Instruct32BQ4_K_M21.69 GB+14.3 GB13–17推算
Qwen2.5-Coder 32B Instruct32BQ4_K_M21.69 GB+14.3 GB13–17推算
DeepSeek-R1-Distill-Qwen-32B32BQ4_K_M21.69 GB+14.3 GB13–17推算
Nemotron 3.5 Lightning 30B-A3B30B-A3BQ4_019.79 GB+16.2 GB≤234天花板
Gemma 4 31B IT31BQ4_K_M21.08 GB+14.9 GB13–18推算
Qwen3 30B-A3B Instruct30B-A3BQ5_K_M23.04 GB+13 GB≤198天花板
Qwen3-Coder 30B-A3B Instruct30B-A3BQ5_K_M23.04 GB+13 GB≤198天花板
Qwen3-VL 30B-A3B Instruct30B-A3BQ4_K_M19.73 GB+16.3 GB≤231天花板
GLM-4.7-Flash30B-A3BQ4_K_M19.19 GB+16.8 GB≤232天花板
Granite 4.2 30B30BQ6_K26.19 GB+9.8 GB10–14推算
Muse Glimmer 30B30BQ8_031.08 GB+4.9 GB8–11推算
Qwen3.8 27B27BQ4_K_M17.47 GB+18.5 GB15–20推算
Qwen3.6 27B27BQ8_030.71 GB+5.3 GB9–11推算
Gemma 3 27B IT27BQ4_K_M18.37 GB+17.6 GB15–20推算
Gemma 2 27B Instruct27BQ5_K_M21.76 GB+14.2 GB13–17推算
Gemma 4 26B-A4B IT26B-A4BQ8_028.42 GB+7.6 GB≤99天花板
Mistral Small 24B Instruct24BQ4_K_M15.89 GB+20.1 GB17–23推算
LFM2.5 24B-A2B24B-A2BQ8_026.73 GB+9.3 GB≤162天花板
Devstral Small 1.1 24B24BQ6_K20.91 GB+15.1 GB13–17推算
Magistral Small 1.2 24B24BQ6_K20.91 GB+15.1 GB13–17推算
Codestral 22B22BQ4_K_M15.03 GB+21 GB19–25推算
ERNIE 4.5 21B-A3B21B-A3BQ8_024.44 GB+11.6 GB≤132天花板
GPT-OSS 20B21B MoEMXFP412.76 GB+23.2 GB≤202天花板

14B · 18

Mac M3 Max 48G 能跑哪些大模型？ — 14B
模型量化档位预估显存余量tok/s
InternLM2 20B Chat20BQ5_K_M15.59 GB+20.4 GB18–24推算
DeepSeek-Coder-V2-Lite Instruct16B-A2.4BQ8_017.56 GB+18.4 GB≤165天花板
DeepSeek-V2-Lite Chat16B-A2.4BQ4_K_M10.08 GB+25.9 GB≤289天花板
StarCoder2 15B15BQ4_K_M10.19 GB+25.8 GB28–37推算
Qwen3 14B Instruct14BQ5_K_M11.65 GB+24.4 GB24–32推算
Qwen2.5 14B Instruct14BQ5_K_M11.73 GB+24.3 GB24–32推算
DeepSeek-R1-Distill-Qwen-14B14BQ4_K_M10.14 GB+25.9 GB28–37推算
Phi-4 14B14BQ5_K_M11.77 GB+24.2 GB24–32推算
Phi-3 Medium 14B Instruct14BQ6_K12.86 GB+23.1 GB22–29推算
Mistral Nemo 12B Instruct12BQ6_K11.14 GB+24.9 GB25–33推算
Gemma 3 12B IT12BQ5_K_M9.84 GB+26.2 GB29–38推算
Mellum2.1 12B-A2.5B Thinking12B-A2.5BQ8_013.6 GB+22.4 GB≤159天花板
Stable LM 2 12B Chat12BQ4_K_M8.35 GB+27.7 GB34–45推算
Llama 3.2 11B Vision Instruct11BQ8_012.9 GB+23.1 GB21–28推算
Solar 10.7B Instruct11BQ4_K_M7.6 GB+28.4 GB39–51推算
Falcon 3 10B Instruct10BQ4_K_M7.28 GB+28.7 GB40–53推算
Gemma 2 9B Instruct9BQ8_011.7 GB+24.3 GB26–34推算
Qwen3.5 9B9BQ8_010.37 GB+25.6 GB26–34推算

7B · 25

Mac M3 Max 48G 能跑哪些大模型？ — 7B
模型量化档位预估显存余量tok/s
GLM-4-9B-Chat9BQ8_010.16 GB+25.8 GB26–35推算
Qwen3-VL 8B Instruct8BQ8_010.39 GB+25.6 GB27–36推算
Granite 4.2 8B8BQ8_010.45 GB+25.6 GB27–36推算
Ministral 3 8B Instruct8BQ8_010.02 GB+26 GB28–37推算
Qwen2-VL 7B Instruct7BQ4_K_M5.49 GB+30.5 GB50–66推算
Granite 3.1 8B Instruct8BQ4_K_M5.88 GB+30.1 GB51–67推算
Qwen3 8B Instruct8BQ6_K7.64 GB+28.4 GB37–49推算
Llama 3.1 8B Instruct8BQ8_09.47 GB+26.5 GB29–39推算
Nous Hermes 3 Llama 3.1 8B8BQ4_K_M5.64 GB+30.4 GB52–68推算
Aya 23 8B8BQ4_K_M5.64 GB+30.4 GB52–68推算
OpenChat 3.6 8B8BQ4_K_M5.64 GB+30.4 GB52–68推算
DeepSeek-R1-Distill-Llama-8B8BQ5_K_M6.51 GB+29.5 GB44–58推算
InternLM2 7B Chat7BQ4_K_M5.45 GB+30.6 GB53–71推算
Qwen2.5 7B Instruct7BQ6_K6.77 GB+29.2 GB40–53推算
Qwen2.5-Coder 7B Instruct7BQ4_K_M5.07 GB+30.9 GB54–72推算
DeepSeek-R1-Distill-Qwen-7B7BQ4_K_M5.07 GB+30.9 GB54–72推算
Gemma 4 E4B ITE4BQ8_08.46 GB+27.5 GB31–42推算
OLMo 2 7B Instruct7BQ8_010.3 GB+25.7 GB32–43推算
OLMo 3 7B Instruct7BQ8_010.3 GB+25.7 GB32–43推算
WizardLM-2 7B7BQ4_K_M5.14 GB+30.9 GB57–76推算
Mistral 7B Instruct v0.37BQ6_K6.75 GB+29.3 GB42–56推算
Zephyr 7B Beta7BQ6_K6.75 GB+29.3 GB42–56推算
Gemma 4 E2B ITE2BQ8_05.2 GB+30.8 GB≤85天花板
Qwen3.5 4B4BQ8_04.97 GB+31 GB≤91天花板
Gemma 3 4B IT4BQ8_05.05 GB+31 GB≤92天花板

≤3B · 14

Mac M3 Max 48G 能跑哪些大模型？ — ≤3B
模型量化档位预估显存余量tok/s
Qwen3 4B Instruct4BQ6_K4.05 GB+32 GB≤128天花板
Phi-4 Mini Instruct3.8BQ8_04.81 GB+31.2 GB≤103天花板
Phi-3.5 Mini Instruct3.8BQ8_05.89 GB+30.1 GB≤104天花板
Granite 4.2 3B3BQ8_04.41 GB+31.6 GB≤108天花板
Llama 3.2 3B Instruct3BQ8_04.05 GB+32 GB≤123天花板
Qwen2.5 3B Instruct3BQ8_03.59 GB+32.4 GB≤128天花板
SmolLM3 3B3BQ8_03.73 GB+32.3 GB≤129天花板
Gemma 2 2B Instruct2BQ8_03.34 GB+32.7 GB≤152天花板
Qwen3.5 2B2BQ8_02.23 GB+33.8 GB≤202天花板
Qwen3 1.7B Instruct1.7BQ8_02.39 GB+33.6 GB≤230天花板
Qwen2.5 1.5B Instruct1.5BQ8_01.83 GB+34.2 GB≤258天花板
Llama 3.2 1B Instruct1BQ8_01.51 GB+34.5 GB≤320天花板
Qwen3.5 0.8B0.8BQ8_00.94 GB+35.1 GB≤494天花板
Qwen2.5 0.5B Instruct0.5BQ8_00.6 GB+35.4 GB≤816天花板

这个列表是怎么算出来的

每一行取该模型中困惑度损失最低、且预估总量（权重 + 4K 上下文下的 KV 缓存 + 激活缓冲）不超过显存 88% 的量化档位。88% 是计算器的"绿色"阈值，因此这里每一行都留有真实余量，而不是刚好装下。提高上下文长度，列表会变短；计算器可直接验证任意组合。速度一列是这张卡自己的：实测、按这张卡的 Llama 2 7B 跑分缩放出来的范围，或带宽天花板。只有 RTX 4090 上才有的数字会标明是那张卡。

另有 2 个模型能加载但不留余量（占用至多为显存的 105%）—— 模型库的显卡快捷筛选把它们也计入，因此那里的数字更大。

在显存计算器中打开这张卡 感受这个速度 浏览全部 110 个模型

在这张卡上的实测数据

本索引中有 1 条基准记录是在 Mac M3 Max 48G 上跑出来的。本页其余内容都是计算得出，而非实测。

模型软件栈tok/s显存占用
Llama 3.1 8BOllama · GGUF Q4_K_M685.7 GB

显存预算相同的显卡

能装下什么由显存决定，所以同类型的每张 48GB 显卡返回的列表都一样。这几个页面给出的不是不同答案 —— 它们的差别在吞吐，而本索引并未逐卡实测吞吐。

能装的模型一样，速度不一样——让同一句话在两张卡上并排流出来： Mac M3 Max 48G 对比 Mac M4 Pro 48G（Qwen3 32B Instruct）

这张卡的部署指南

针对 Mac M3 Max 48G 的运行时或显存容量编写的分步指南，包括具体命令，以及确认模型确实跑在这张卡上的检查方法。

再往上一档

Mac M5 Pro 64G（64GB）比这张卡多装下 2 个索引内的模型。 Mac M5 Pro 64G →

常见问题

Mac M3 Max 48G 上最适合本地运行的大模型是哪个？

日常使用推荐 Nemotron 3.5 Lightning 30B-A3B（Q4_0）—— 在 4K 上下文下约占这张卡 48 GB 中的 19.8 GB，还剩 16.2 GB 给更长的窗口。如果你要的是能加载的最大模型，那是 Nemotron 3.5 Bolt 74B-A9B（IQ2_XXS，约 23.1 GB，余量 13.0 GB）。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准，无法告诉你哪个模型更聪明。

Mac M3 Max 48G 能跑 Llama 3.2 90B Vision Instruct 吗？

不能。它在本索引中最小的构建 Q3_K_M 约需 46.2 GB，而这张卡可用约 36.0 GB —— 在 4K 之外的上下文还没算上之前就已经差了 10.2 GB。这张卡能从容运行的最大模型是 Nemotron 3.5 Bolt 74B-A9B。

Mac M3 Max 48G 跑 8B 模型的 Q4 量化大概有多少 tok/s？

本索引在这张卡上有 1 条实测记录，数据见本页表格。可以从规格推出的是：生成一个 token 需要把每个权重都读一遍，Llama 3.1 8B Instruct 在 Q4_K_M 下权重为 4.6 GB，而这张卡的带宽是 400 GB/s —— 上限约 87 tok/s。批大小、上下文长度、运行时以及缓存命中情况都会把实际值压到这个数以下。

本地跑大模型，Mac M3 Max 48G 还是 L40S 48G？

两者装得下的模型并不相同：4K 下 Mac M3 Max 48G 可从容运行 110 个中的 88 个，L40S 48G 为 94 个——macOS 会从 Mac M3 Max 48G 的统一内存里留出一部分不给 GPU，可用约 36 GB。另一个差别在吞吐 —— 400 GB/s 对 864 GB/s，读取权重的速度相差 2.2 倍，而 token 生成正是受此限制。两张卡都装得下的模型，L40S 48G 生成更快。

在 48GB、4K 上下文下，索引中 110 个模型有 88 个可从容运行，各自取仍留有余量的最高质量档位。

本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-10-18 RSS → /zh/feed.xml