RTX 5090 Laptop GPU 能跑哪些大模型?
在 24GB、4K 上下文下,索引中 151 个模型有 119 个可从容运行,各自取仍留有余量的最高质量档位。
RTX 5090 Laptop GPU 的简短答案
24 GB,GDDR7,带宽未列出。索引中 151 个模型里有 119 个能在 4K 上下文下从容运行,124 个至少能加载。
硬件规格来源- 能装下的最大模型
- Kolibri-1 78B-A3.5B — IQ1_M 下约 20.9 GB —— 4K 时仅剩 3.1 GB,上下文再拉长就要动用这点余量。下载这个文件: bartowski/Kolibri-1-GGUF · Kolibri-1-IQ1_M.gguf · 19.77 GB · 2026-11-12 核对
- 留有余量的选择
- Ternary Bonsai 2 27B — Q2_0 下约 8.2 GB —— 占用不到显存的 60%,留下 15.8 GB 给长上下文或第二个进程。下载这个文件: prism-ml/Ternary-Bonsai-2-27B-gguf · Ternary-Bonsai-2-27B-Q2_0.gguf · 7.63 GB · 另需视觉投影 0.63 GB · 2026-11-19 核对
- 你会先撞到的墙
- 即使显卡型号相同,不同笔记本的散热和功耗限制也会影响实际速度。请按标称显存判断能否装下模型,不要用同名桌面显卡的跑分推断速度。
50B+ · 2
| 模型 | 量化档位 | 预估显存 | 余量 |
|---|---|---|---|
| Kolibri-1 78B-A3.5B78B-A3.5B | IQ1_M | 20.9 GB | +3.1 GB |
| Ripple-65B-Preview65B | IQ1_M | 19.98 GB | +4 GB |
20–50B · 39
| 模型 | 量化档位 | 预估显存 | 余量 |
|---|---|---|---|
| Recursive Flint 40B-A2.5B40B-A2.5B | Q3_K_M | 20.6 GB | +3.4 GB |
| Seed-OSS 36B Instruct36B | Q3_K_M | 19.52 GB | +4.5 GB |
| Apex 35B V1.035B-A3B | Q3_K_M | 18.71 GB | +5.3 GB |
| Command R 35B35B | GPTQ INT4 | 18.97 GB | +5 GB |
| MiniCPM-V 4.7 35B-A3B35B-A3B | Q4_K_S | 20.88 GB | +3.1 GB |
| Clover-35B-A3B-Preview35B-A3B | Q4_0 | 20.91 GB | +3.1 GB |
| Yi 1.5 34B Chat34B | AWQ INT4 | 19 GB | +5 GB |
| Nanbeige4.3 33B33B | Q3_K_M | 17.55 GB | +6.5 GB |
| Qwen3 32B Instruct32B | AWQ INT4 | 18.22 GB | +5.8 GB |
| Qwen2.5 32B Instruct32B | EXL2 3.5bpw | 15.96 GB | +8 GB |
| Qwen2.5-Coder 32B Instruct32B | AWQ INT4 | 18.08 GB | +5.9 GB |
| DeepSeek-R1-Distill-Qwen-32B32B | EXL2 3.5bpw | 15.96 GB | +8 GB |
| Nemotron 3.5 Lightning 30B-A3B30B-A3B | Q4_0 | 19.79 GB | +4.2 GB |
| Xing4.0 29B-A4B29B-A4B | IQ4_XS | 19 GB | +5 GB |
| Gemma 4 31B IT31B | Q4_0 | 20.08 GB | +3.9 GB |
| Qwen3-Coder 30B-A3B Instruct30B-A3B | Q4_K_M | 19.81 GB | +4.2 GB |
| Qwen3-VL 30B-A3B Instruct30B-A3B | Q4_K_M | 19.89 GB | +4.1 GB |
| Qwen3 30B-A3B Instruct30B-A3B | Q4_K_M | 19.73 GB | +4.3 GB |
| North Mini Code 1.0 30B-A3B30B-A3B | Q4_K_M | 20.01 GB | +4 GB |
| Hy-Memory-30B-A3B30B-A3B | Q4_K_M | 19.46 GB | +4.5 GB |
| GLM-4.7-Flash30B-A3B | Q4_K_M | 19.51 GB | +4.5 GB |
| Granite 4.2 30B30B | Q4_K_M | 19.61 GB | +4.4 GB |
| Muse Glimmer 30B30B | Q4_K_M | 17.66 GB | +6.3 GB |
| Qwen3.8 27B27B | Q4_K_M | 18.49 GB | +5.5 GB |
| Arete 27B27B | Q4_K_M | 18.25 GB | +5.8 GB |
| Qwen3.6 27B27B | Q4_K_M | 19.05 GB | +4.9 GB |
| DaisyRose 27B27B | Q4_K_M | 18.38 GB | +5.6 GB |
| Gemma 2 27B Instruct27B | Q4_K_M | 18.81 GB | +5.2 GB |
| Gemma 3 27B IT27B | Q4_K_M | 18.3 GB | +5.7 GB |
| Ternary Bonsai 2 27B27B | Q2_0 | 8.24 GB | +15.8 GB |
| Clairic 27B27B | Q5_K_M | 20.51 GB | +3.5 GB |
| Gemma 4 26B-A4B IT26B-A4B | Q4_K_M | 18.22 GB | +5.8 GB |
| Mistral Small 24B Instruct24B | EXL2 4.65bpw | 15.26 GB | +8.7 GB |
| LFM2.5 24B-A2B24B-A2B | Q4_K_M | 15.27 GB | +8.7 GB |
| Devstral Small 1.1 24B24B | Q6_K | 20.89 GB | +3.1 GB |
| Magistral Small 1.2 24B24B | Q6_K | 20.89 GB | +3.1 GB |
| Codestral 22B22B | Q4_K_M | 15.03 GB | +9 GB |
| ERNIE 4.5 21B-A3B21B-A3B | Q4_K_M | 14.18 GB | +9.8 GB |
| GPT-OSS 20B21B MoE | MXFP4 | 12.76 GB | +11.2 GB |
10–20B · 19
| 模型 | 量化档位 | 预估显存 | 余量 |
|---|---|---|---|
| InternLM2 20B Chat20B | Q5_K_M | 15.59 GB | +8.4 GB |
| DeepSeek-Coder-V2-Lite Instruct16B-A2.4B | Q8_0 | 17.56 GB | +6.4 GB |
| DeepSeek-V2-Lite Chat16B-A2.4B | Q4_K_M | 10.08 GB | +13.9 GB |
| StarCoder2 15B15B | Q4_K_M | 9.85 GB | +14.2 GB |
| Qwen3 14B Instruct14B | Q5_K_M | 11.65 GB | +12.4 GB |
| Qwen2.5 14B Instruct14B | Q5_K_M | 11.73 GB | +12.3 GB |
| DeepSeek-R1-Distill-Qwen-14B14B | EXL2 4.65bpw | 9.75 GB | +14.3 GB |
| Phi-4 14B14B | Q5_K_M | 11.77 GB | +12.2 GB |
| Phi-3 Medium 14B Instruct14B | Q6_K | 12.86 GB | +11.1 GB |
| Ministral 3 14B Instruct14B | Q8_0 | 15.7 GB | +8.3 GB |
| Mistral Nemo 12B Instruct12B | Q6_K | 11.14 GB | +12.9 GB |
| Gemma 3 12B IT12B | Q5_K_M | 9.84 GB | +14.2 GB |
| Mellum2.1 12B-A2.5B Thinking12B-A2.5B | Q8_0 | 13.6 GB | +10.4 GB |
| Stable LM 2 12B Chat12B | Q4_K_M | 8.52 GB | +15.5 GB |
| Gemma 4 12B IT12B | Q8_0 | 13.82 GB | +10.2 GB |
| Llama 3.2 11B Vision Instruct11B | Q8_0 | 12.9 GB | +11.1 GB |
| Solar 10.7B Instruct11B | Q4_K_M | 7.6 GB | +16.4 GB |
| Falcon 3 10B Instruct10B | Q4_K_M | 7.28 GB | +16.7 GB |
| Metis-1.6 Logos10B MoE | Q8_0 | 11.67 GB | +12.3 GB |
4–10B · 37
| 模型 | 量化档位 | 预估显存 | 余量 |
|---|---|---|---|
| Gemma 2 9B Instruct9B | Q8_0 | 11.7 GB | +12.3 GB |
| Qwen3.5 9B9B | Q8_0 | 10.39 GB | +13.6 GB |
| K2 Horizon 7B7B | Q8_0 | 10.62 GB | +13.4 GB |
| GLM-4-9B-Chat9B | Q8_0 | 10.16 GB | +13.8 GB |
| MiMo-V2.6-Distill-Qwen-9B9B | Q8_0 | 10.11 GB | +13.9 GB |
| Clairic Flash 9B9B | Q8_0 | 10.1 GB | +13.9 GB |
| Qwen3-VL 8B Instruct8B | Q8_0 | 10.39 GB | +13.6 GB |
| TwIL 8B balanced8.8B | Q4_K_M | 6.28 GB | +17.7 GB |
| Granite 4.2 8B8B | Q8_0 | 10.46 GB | +13.5 GB |
| Ministral 3 8B Instruct8B | Q8_0 | 10.02 GB | +14 GB |
| LFM2.5 8B-A1B8B-A1.5B | Q8_0 | 9.46 GB | +14.5 GB |
| Qwen2-VL 7B Instruct7B | Q4_K_M | 5.49 GB | +18.5 GB |
| Granite 3.1 8B Instruct8B | Q4_K_M | 5.88 GB | +18.1 GB |
| Shot Reader 8B8B | Q8_0 | 9.72 GB | +14.3 GB |
| Qwen3 8B Instruct8B | Q6_K | 7.64 GB | +16.4 GB |
| Llama 3.1 8B Instruct8B | Q8_0 | 9.47 GB | +14.5 GB |
| Nous Hermes 3 Llama 3.1 8B8B | EXL2 4.65bpw | 5.43 GB | +18.6 GB |
| Aya 23 8B8B | Q4_K_M | 5.64 GB | +18.4 GB |
| OpenChat 3.6 8B8B | EXL2 4.65bpw | 5.43 GB | +18.6 GB |
| DeepSeek-R1-Distill-Llama-8B8B | Q5_K_M | 6.51 GB | +17.5 GB |
| InternLM2 7B Chat7B | Q4_K_M | 5.45 GB | +18.6 GB |
| Qwen2.5 7B Instruct7B | Q6_K | 6.77 GB | +17.2 GB |
| Qwen2.5-Coder 7B Instruct7B | EXL2 4.65bpw | 4.87 GB | +19.1 GB |
| DeepSeek-R1-Distill-Qwen-7B7B | EXL2 4.65bpw | 4.87 GB | +19.1 GB |
| Gemma 4 E4B ITE4B | Q8_0 | 8.68 GB | +15.3 GB |
| Nemotron 3.5 Bolt E4BE4B | Q8_0 | 8.5 GB | +15.5 GB |
| OLMo 2 7B Instruct7B | Q8_0 | 10.3 GB | +13.7 GB |
| OLMo 3 7B Instruct7B | Q8_0 | 10.3 GB | +13.7 GB |
| WizardLM-2 7B7B | Q4_K_M | 5.14 GB | +18.9 GB |
| Mistral 7B Instruct v0.37B | Q6_K | 6.75 GB | +17.3 GB |
| Zephyr 7B Beta7B | Q6_K | 6.75 GB | +17.3 GB |
| K2 Horizon 3.7B3.7B | Q8_0 | 6.24 GB | +17.8 GB |
| Gemma 4 E2B ITE2B | Q8_0 | 5.2 GB | +18.8 GB |
| Qwen3.5 4B4B | Q8_0 | 4.97 GB | +19 GB |
| Gemma 3 4B IT4B | Q8_0 | 5.05 GB | +19 GB |
| Spark-X2.6 4B4B | Q8_0 | 4.84 GB | +19.2 GB |
| Qwen3 4B Instruct4B | Q6_K | 4.05 GB | +20 GB |
<4B · 22
| 模型 | 量化档位 | 预估显存 | 余量 |
|---|---|---|---|
| Phi-4 Mini Instruct3.8B | Q8_0 | 4.81 GB | +19.2 GB |
| Phi-3.5 Mini Instruct3.8B | Q8_0 | 5.89 GB | +18.1 GB |
| Granite 4.2 3B3B | Q8_0 | 4.41 GB | +19.6 GB |
| Ministral 3 3B Instruct3B | Q8_0 | 4.26 GB | +19.7 GB |
| Llama 3.2 3B Instruct3B | Q8_0 | 4.05 GB | +20 GB |
| Qwen2.5 3B Instruct3B | Q8_0 | 3.59 GB | +20.4 GB |
| SmolLM3 3B3B | Q8_0 | 3.73 GB | +20.3 GB |
| Metis-1.6 Praxis3B MoE | Q8_0 | 3.4 GB | +20.6 GB |
| Gemma 2 2B Instruct2B | Q8_0 | 3.34 GB | +20.7 GB |
| Qwen3.5 2B2B | Q8_0 | 2.23 GB | +21.8 GB |
| LFM3 1.7B1.7B | Q8_0 | 1.99 GB | +22 GB |
| LFM3-VL 2B2B | Q8_0 | 1.99 GB | +22 GB |
| Qwen3 1.7B Instruct1.7B | Q8_0 | 2.39 GB | +21.6 GB |
| Qwen2.5 1.5B Instruct1.5B | Q8_0 | 1.83 GB | +22.2 GB |
| Llama 3.2 1B Instruct1B | Q8_0 | 1.51 GB | +22.5 GB |
| LFM2.5 1.2B Instruct1.2B | Q8_0 | 1.35 GB | +22.7 GB |
| K2 Horizon 0.9B0.9B | Q8_0 | 1.44 GB | +22.6 GB |
| Qwen3.5 0.8B0.8B | Q8_0 | 0.94 GB | +23.1 GB |
| BotPsy 0.8B0.75B | Q8_0 | 0.9 GB | +23.1 GB |
| Qwen2.5 0.5B Instruct0.5B | Q8_0 | 0.6 GB | +23.4 GB |
| MNN-Pocket 0.3B Instruct0.36B | Q8_0 | 0.46 GB | +23.5 GB |
| MNN-Pocket 0.3B QAT0.30B | Q4_1 | 0.26 GB | +23.7 GB |
这个列表是怎么算出来的
每一行取该模型中困惑度损失最低、且预估总量(权重 + 4K 上下文下的 KV 缓存 + 激活缓冲)不超过显存 88% 的量化档位。88% 是计算器的「绿色」阈值,因此每一项估算都留有余量。提高上下文长度,列表会变短;计算器可直接验证任意组合。
另有 5 个模型能加载但不留余量(占用至多为显存的 105%)—— 模型库的显卡快捷筛选把它们也计入,因此那里的数字更大。
在这张卡上的实测数据
本站没有这款笔记本显卡的推理实测记录。模型适配数据为估算,并非实测结果。
显存预算相同的显卡
能装下什么由显存决定,所以同类型的每张 24GB 显卡返回的列表都一样。这几个页面给出的不是不同答案 —— 它们的差别在吞吐,而本索引并未逐卡实测吞吐。
这张卡的部署指南
针对 RTX 5090 Laptop GPU 的运行时或显存容量编写的分步指南,包括具体命令,以及确认模型确实跑在这张卡上的检查方法。
再往上一档
RTX 5090(32GB)比这张卡多装下 6 个索引内的模型。 RTX 5090 →
常见问题
RTX 5090 Laptop GPU 上最适合本地运行的大模型是哪个?
日常使用推荐 Ternary Bonsai 2 27B(Q2_0)—— 在 4K 上下文下约占这张卡 24 GB 中的 8.2 GB,还剩 15.8 GB 给更长的窗口。如果你要的是能加载的最大模型,那是 Kolibri-1 78B-A3.5B(IQ1_M,约 20.9 GB,余量 3.1 GB)。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准,无法告诉你哪个模型更聪明。
RTX 5090 Laptop GPU 能跑 Llama 3.2 90B Vision Instruct 吗?
不能。它在本索引中最小的构建 Q3_K_M 约需 46.2 GB,而这张卡可用约 24.0 GB —— 在 4K 之外的上下文还没算上之前就已经差了 22.2 GB。这张卡能从容运行的最大模型是 Kolibri-1 78B-A3.5B。
本地跑大模型,RTX 5090 Laptop GPU 还是 RTX 4090?
两张卡装得下的模型相同:24 GB 与 24 GB 在 4K 下分别可从容运行 151 个中的 119 个与 119 个。本站没有同时记录两张卡的带宽,因此本页不就速度给出排序。
在 24GB、4K 上下文下,索引中 151 个模型有 119 个可从容运行,各自取仍留有余量的最高质量档位。
本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-11-22 RSS → /zh/feed.xml