跳转到主要内容
24GB 显存

RTX 5090 Laptop GPU 能跑哪些大模型?

在 24GB、4K 上下文下,索引中 151 个模型有 119 个可从容运行,各自取仍留有余量的最高质量档位。

上下文长度
并发数(batch)

RTX 5090 Laptop GPU 的简短答案

24 GB,GDDR7,带宽未列出。索引中 151 个模型里有 119 个能在 4K 上下文下从容运行,124 个至少能加载。

硬件规格来源
能装下的最大模型
Kolibri-1 78B-A3.5B — IQ1_M 下约 20.9 GB —— 4K 时仅剩 3.1 GB,上下文再拉长就要动用这点余量。下载这个文件: bartowski/Kolibri-1-GGUF · Kolibri-1-IQ1_M.gguf · 19.77 GB · 2026-11-12 核对
留有余量的选择
Ternary Bonsai 2 27B — Q2_0 下约 8.2 GB —— 占用不到显存的 60%,留下 15.8 GB 给长上下文或第二个进程。下载这个文件: prism-ml/Ternary-Bonsai-2-27B-gguf · Ternary-Bonsai-2-27B-Q2_0.gguf · 7.63 GB · 另需视觉投影 0.63 GB · 2026-11-19 核对
你会先撞到的墙
即使显卡型号相同,不同笔记本的散热和功耗限制也会影响实际速度。请按标称显存判断能否装下模型,不要用同名桌面显卡的跑分推断速度。
24GB 能跑的最好的本地大模型

50B+ · 2

RTX 5090 Laptop GPU 能跑哪些大模型? — 50B+
模型量化档位预估显存余量
Kolibri-1 78B-A3.5B78B-A3.5BIQ1_M20.9 GB+3.1 GB
Ripple-65B-Preview65BIQ1_M19.98 GB+4 GB

20–50B · 39

RTX 5090 Laptop GPU 能跑哪些大模型? — 20–50B
模型量化档位预估显存余量
Recursive Flint 40B-A2.5B40B-A2.5BQ3_K_M20.6 GB+3.4 GB
Seed-OSS 36B Instruct36BQ3_K_M19.52 GB+4.5 GB
Apex 35B V1.035B-A3BQ3_K_M18.71 GB+5.3 GB
Command R 35B35BGPTQ INT418.97 GB+5 GB
MiniCPM-V 4.7 35B-A3B35B-A3BQ4_K_S20.88 GB+3.1 GB
Clover-35B-A3B-Preview35B-A3BQ4_020.91 GB+3.1 GB
Yi 1.5 34B Chat34BAWQ INT419 GB+5 GB
Nanbeige4.3 33B33BQ3_K_M17.55 GB+6.5 GB
Qwen3 32B Instruct32BAWQ INT418.22 GB+5.8 GB
Qwen2.5 32B Instruct32BEXL2 3.5bpw15.96 GB+8 GB
Qwen2.5-Coder 32B Instruct32BAWQ INT418.08 GB+5.9 GB
DeepSeek-R1-Distill-Qwen-32B32BEXL2 3.5bpw15.96 GB+8 GB
Nemotron 3.5 Lightning 30B-A3B30B-A3BQ4_019.79 GB+4.2 GB
Xing4.0 29B-A4B29B-A4BIQ4_XS19 GB+5 GB
Gemma 4 31B IT31BQ4_020.08 GB+3.9 GB
Qwen3-Coder 30B-A3B Instruct30B-A3BQ4_K_M19.81 GB+4.2 GB
Qwen3-VL 30B-A3B Instruct30B-A3BQ4_K_M19.89 GB+4.1 GB
Qwen3 30B-A3B Instruct30B-A3BQ4_K_M19.73 GB+4.3 GB
North Mini Code 1.0 30B-A3B30B-A3BQ4_K_M20.01 GB+4 GB
Hy-Memory-30B-A3B30B-A3BQ4_K_M19.46 GB+4.5 GB
GLM-4.7-Flash30B-A3BQ4_K_M19.51 GB+4.5 GB
Granite 4.2 30B30BQ4_K_M19.61 GB+4.4 GB
Muse Glimmer 30B30BQ4_K_M17.66 GB+6.3 GB
Qwen3.8 27B27BQ4_K_M18.49 GB+5.5 GB
Arete 27B27BQ4_K_M18.25 GB+5.8 GB
Qwen3.6 27B27BQ4_K_M19.05 GB+4.9 GB
DaisyRose 27B27BQ4_K_M18.38 GB+5.6 GB
Gemma 2 27B Instruct27BQ4_K_M18.81 GB+5.2 GB
Gemma 3 27B IT27BQ4_K_M18.3 GB+5.7 GB
Ternary Bonsai 2 27B27BQ2_08.24 GB+15.8 GB
Clairic 27B27BQ5_K_M20.51 GB+3.5 GB
Gemma 4 26B-A4B IT26B-A4BQ4_K_M18.22 GB+5.8 GB
Mistral Small 24B Instruct24BEXL2 4.65bpw15.26 GB+8.7 GB
LFM2.5 24B-A2B24B-A2BQ4_K_M15.27 GB+8.7 GB
Devstral Small 1.1 24B24BQ6_K20.89 GB+3.1 GB
Magistral Small 1.2 24B24BQ6_K20.89 GB+3.1 GB
Codestral 22B22BQ4_K_M15.03 GB+9 GB
ERNIE 4.5 21B-A3B21B-A3BQ4_K_M14.18 GB+9.8 GB
GPT-OSS 20B21B MoEMXFP412.76 GB+11.2 GB

10–20B · 19

RTX 5090 Laptop GPU 能跑哪些大模型? — 10–20B
模型量化档位预估显存余量
InternLM2 20B Chat20BQ5_K_M15.59 GB+8.4 GB
DeepSeek-Coder-V2-Lite Instruct16B-A2.4BQ8_017.56 GB+6.4 GB
DeepSeek-V2-Lite Chat16B-A2.4BQ4_K_M10.08 GB+13.9 GB
StarCoder2 15B15BQ4_K_M9.85 GB+14.2 GB
Qwen3 14B Instruct14BQ5_K_M11.65 GB+12.4 GB
Qwen2.5 14B Instruct14BQ5_K_M11.73 GB+12.3 GB
DeepSeek-R1-Distill-Qwen-14B14BEXL2 4.65bpw9.75 GB+14.3 GB
Phi-4 14B14BQ5_K_M11.77 GB+12.2 GB
Phi-3 Medium 14B Instruct14BQ6_K12.86 GB+11.1 GB
Ministral 3 14B Instruct14BQ8_015.7 GB+8.3 GB
Mistral Nemo 12B Instruct12BQ6_K11.14 GB+12.9 GB
Gemma 3 12B IT12BQ5_K_M9.84 GB+14.2 GB
Mellum2.1 12B-A2.5B Thinking12B-A2.5BQ8_013.6 GB+10.4 GB
Stable LM 2 12B Chat12BQ4_K_M8.52 GB+15.5 GB
Gemma 4 12B IT12BQ8_013.82 GB+10.2 GB
Llama 3.2 11B Vision Instruct11BQ8_012.9 GB+11.1 GB
Solar 10.7B Instruct11BQ4_K_M7.6 GB+16.4 GB
Falcon 3 10B Instruct10BQ4_K_M7.28 GB+16.7 GB
Metis-1.6 Logos10B MoEQ8_011.67 GB+12.3 GB

4–10B · 37

RTX 5090 Laptop GPU 能跑哪些大模型? — 4–10B
模型量化档位预估显存余量
Gemma 2 9B Instruct9BQ8_011.7 GB+12.3 GB
Qwen3.5 9B9BQ8_010.39 GB+13.6 GB
K2 Horizon 7B7BQ8_010.62 GB+13.4 GB
GLM-4-9B-Chat9BQ8_010.16 GB+13.8 GB
MiMo-V2.6-Distill-Qwen-9B9BQ8_010.11 GB+13.9 GB
Clairic Flash 9B9BQ8_010.1 GB+13.9 GB
Qwen3-VL 8B Instruct8BQ8_010.39 GB+13.6 GB
TwIL 8B balanced8.8BQ4_K_M6.28 GB+17.7 GB
Granite 4.2 8B8BQ8_010.46 GB+13.5 GB
Ministral 3 8B Instruct8BQ8_010.02 GB+14 GB
LFM2.5 8B-A1B8B-A1.5BQ8_09.46 GB+14.5 GB
Qwen2-VL 7B Instruct7BQ4_K_M5.49 GB+18.5 GB
Granite 3.1 8B Instruct8BQ4_K_M5.88 GB+18.1 GB
Shot Reader 8B8BQ8_09.72 GB+14.3 GB
Qwen3 8B Instruct8BQ6_K7.64 GB+16.4 GB
Llama 3.1 8B Instruct8BQ8_09.47 GB+14.5 GB
Nous Hermes 3 Llama 3.1 8B8BEXL2 4.65bpw5.43 GB+18.6 GB
Aya 23 8B8BQ4_K_M5.64 GB+18.4 GB
OpenChat 3.6 8B8BEXL2 4.65bpw5.43 GB+18.6 GB
DeepSeek-R1-Distill-Llama-8B8BQ5_K_M6.51 GB+17.5 GB
InternLM2 7B Chat7BQ4_K_M5.45 GB+18.6 GB
Qwen2.5 7B Instruct7BQ6_K6.77 GB+17.2 GB
Qwen2.5-Coder 7B Instruct7BEXL2 4.65bpw4.87 GB+19.1 GB
DeepSeek-R1-Distill-Qwen-7B7BEXL2 4.65bpw4.87 GB+19.1 GB
Gemma 4 E4B ITE4BQ8_08.68 GB+15.3 GB
Nemotron 3.5 Bolt E4BE4BQ8_08.5 GB+15.5 GB
OLMo 2 7B Instruct7BQ8_010.3 GB+13.7 GB
OLMo 3 7B Instruct7BQ8_010.3 GB+13.7 GB
WizardLM-2 7B7BQ4_K_M5.14 GB+18.9 GB
Mistral 7B Instruct v0.37BQ6_K6.75 GB+17.3 GB
Zephyr 7B Beta7BQ6_K6.75 GB+17.3 GB
K2 Horizon 3.7B3.7BQ8_06.24 GB+17.8 GB
Gemma 4 E2B ITE2BQ8_05.2 GB+18.8 GB
Qwen3.5 4B4BQ8_04.97 GB+19 GB
Gemma 3 4B IT4BQ8_05.05 GB+19 GB
Spark-X2.6 4B4BQ8_04.84 GB+19.2 GB
Qwen3 4B Instruct4BQ6_K4.05 GB+20 GB

<4B · 22

RTX 5090 Laptop GPU 能跑哪些大模型? — <4B
模型量化档位预估显存余量
Phi-4 Mini Instruct3.8BQ8_04.81 GB+19.2 GB
Phi-3.5 Mini Instruct3.8BQ8_05.89 GB+18.1 GB
Granite 4.2 3B3BQ8_04.41 GB+19.6 GB
Ministral 3 3B Instruct3BQ8_04.26 GB+19.7 GB
Llama 3.2 3B Instruct3BQ8_04.05 GB+20 GB
Qwen2.5 3B Instruct3BQ8_03.59 GB+20.4 GB
SmolLM3 3B3BQ8_03.73 GB+20.3 GB
Metis-1.6 Praxis3B MoEQ8_03.4 GB+20.6 GB
Gemma 2 2B Instruct2BQ8_03.34 GB+20.7 GB
Qwen3.5 2B2BQ8_02.23 GB+21.8 GB
LFM3 1.7B1.7BQ8_01.99 GB+22 GB
LFM3-VL 2B2BQ8_01.99 GB+22 GB
Qwen3 1.7B Instruct1.7BQ8_02.39 GB+21.6 GB
Qwen2.5 1.5B Instruct1.5BQ8_01.83 GB+22.2 GB
Llama 3.2 1B Instruct1BQ8_01.51 GB+22.5 GB
LFM2.5 1.2B Instruct1.2BQ8_01.35 GB+22.7 GB
K2 Horizon 0.9B0.9BQ8_01.44 GB+22.6 GB
Qwen3.5 0.8B0.8BQ8_00.94 GB+23.1 GB
BotPsy 0.8B0.75BQ8_00.9 GB+23.1 GB
Qwen2.5 0.5B Instruct0.5BQ8_00.6 GB+23.4 GB
MNN-Pocket 0.3B Instruct0.36BQ8_00.46 GB+23.5 GB
MNN-Pocket 0.3B QAT0.30BQ4_10.26 GB+23.7 GB

这个列表是怎么算出来的

每一行取该模型中困惑度损失最低、且预估总量(权重 + 4K 上下文下的 KV 缓存 + 激活缓冲)不超过显存 88% 的量化档位。88% 是计算器的「绿色」阈值,因此每一项估算都留有余量。提高上下文长度,列表会变短;计算器可直接验证任意组合。

另有 5 个模型能加载但不留余量(占用至多为显存的 105%)—— 模型库的显卡快捷筛选把它们也计入,因此那里的数字更大。

在这张卡上的实测数据

本站没有这款笔记本显卡的推理实测记录。模型适配数据为估算,并非实测结果。

显存预算相同的显卡

能装下什么由显存决定,所以同类型的每张 24GB 显卡返回的列表都一样。这几个页面给出的不是不同答案 —— 它们的差别在吞吐,而本索引并未逐卡实测吞吐。

这张卡的部署指南

针对 RTX 5090 Laptop GPU 的运行时或显存容量编写的分步指南,包括具体命令,以及确认模型确实跑在这张卡上的检查方法。

再往上一档

RTX 5090(32GB)比这张卡多装下 6 个索引内的模型。 RTX 5090 →

常见问题

RTX 5090 Laptop GPU 上最适合本地运行的大模型是哪个?

日常使用推荐 Ternary Bonsai 2 27B(Q2_0)—— 在 4K 上下文下约占这张卡 24 GB 中的 8.2 GB,还剩 15.8 GB 给更长的窗口。如果你要的是能加载的最大模型,那是 Kolibri-1 78B-A3.5B(IQ1_M,约 20.9 GB,余量 3.1 GB)。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准,无法告诉你哪个模型更聪明。

RTX 5090 Laptop GPU 能跑 Llama 3.2 90B Vision Instruct 吗?

不能。它在本索引中最小的构建 Q3_K_M 约需 46.2 GB,而这张卡可用约 24.0 GB —— 在 4K 之外的上下文还没算上之前就已经差了 22.2 GB。这张卡能从容运行的最大模型是 Kolibri-1 78B-A3.5B。

本地跑大模型,RTX 5090 Laptop GPU 还是 RTX 4090?

两张卡装得下的模型相同:24 GB 与 24 GB 在 4K 下分别可从容运行 151 个中的 119 个与 119 个。本站没有同时记录两张卡的带宽,因此本页不就速度给出排序。

在 24GB、4K 上下文下,索引中 151 个模型有 119 个可从容运行,各自取仍留有余量的最高质量档位。

本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-11-22 RSS → /zh/feed.xml