适用于哪些显卡
本索引里有四张 24GB 的卡：RTX 4090、RTX 3090、Radeon RX 7900 XTX，以及较老的 Tesla P40。它们能装下的模型完全一样，因为决定能否装下的只有容量；但跑起来速度不同：生成速度受显存带宽限制，从 P40 的 346 GB/s 到 4090 的 1,008 GB/s 不等。RX 7900 XTX 通过 ROCm 或 Vulkan 跑 GGUF，具体配置见 AMD 指南。24GB 的 Mac 是另一回事：macOS 只让 GPU 使用大约四分之三的内存，所以能装下的模型比这几张卡少。
Card Bandwidth ceiling for Qwen3.6 27B Q4_K_M
RTX 4090 1,008 GB/s 59 tok/s
RX 7900 XTX 960 GB/s 56 tok/s
RTX 3090 936 GB/s 55 tok/s
Tesla P40 346 GB/s 20 tok/s
Ceilings = bandwidth ÷ weight file size. Not measured here; real speed is lower.能装下什么，以及 30B 级从哪里开始偏紧
本索引 117 个模型中，有 88 个能在 4K 上下文下宽裕地装进 24GB 显卡，能加载的共 93 个。27B 左右及以下，只看你想要多长的上下文。再往上，很多最新的模型刚好越过本站的宽裕线：模型本身放得下，但没给桌面留余地。Qwen3.6 27B 在 Q4_K_M、32K 上下文下约 21.0 GB，仍然宽裕。Qwen3.6 35B-A3B 在 Q4_K_M、4K 上下文下约 23.4 GB，偏紧。K2 Horizon 32B 在 Q4_K_M、4K 上下文下约 23.1 GB，同样偏紧。Qwen3 32B 在 Q4_K_M、8K 上下文下约 22.9 GB，偏紧，到 32K 就装不下了。
GGUF (level) 8K 32K 64K 128K
Gemma 4 26B-A4B (Q4_K_M) 18.3 GB 18.8 GB 19.5 GB 20.9 GB
Muse Glimmer 30B (Q4_K_M) 17.7 GB 18.1 GB 18.5 GB 19.4 GB
Nemotron 3.5 Lightning (Q4_0) 19.8 GB 20.0 GB 20.2 GB 20.6 GB
Qwen3.6 27B (Q4_K_M) 19.3 GB 21.0 GB 23.2 GB ~ 27.6 GB ✗
Qwen3.8 27B (Q4_K_M) 17.8 GB 19.4 GB 21.6 GB ~ 26.0 GB ✗
North Mini Code 30B-A3B (Q4_K_M) 20.2 GB 20.8 GB 21.7 GB ~ 23.5 GB ~
Qwen3-Coder 30B-A3B (Q4_K_M) 20.1 GB 22.6 GB ~ 25.9 GB ✗
Gemma 4 31B (Q4_0, Google QAT) 20.4 GB 22.5 GB ~ 25.2 GB ✗
Qwen3.6 35B-A3B (Q4_K_M) 23.5 GB ~ 24.0 GB ~ 24.7 GB ~ 26.1 GB ✗
Qwen3 32B (Q4_K_M)* 22.9 GB ~ 29.6 GB ✗
K2 Horizon 32B (Q4_K_M) 24.2 GB ~ 30.8 GB ✗
~ = tight (88–105% of 24 GB) ✗ = does not fit * window ends at 40,960 tokens长上下文：看架构，而不是看参数量
上表可以分成两组。每一层都保留随上下文增长的缓存的模型，比如 Qwen3 32B 和 K2 Horizon 32B，上下文每多 32K 就要多出好几 GB。只有部分层保留增长缓存的模型几乎不涨：其余层只用很短的滑动窗口或固定大小的状态。Gemma 4 26B-A4B 在 Q4_K_M、128K 上下文下约 20.9 GB，宽裕。Nemotron 3.5 Lightning 30B-A3B 在 Q4_0、128K 上下文下约 20.6 GB。Muse Glimmer 30B 在 Q4_K_M、128K 上下文下约 19.4 GB。如果想在一张 24GB 显卡上把整个代码仓库或一篇长文档放进窗口，先从这几个开始，而不是稠密的 32B 模型。
写代码用
本索引里有两个编程模型正好面向这个显存档位。North Mini Code 1.0 30B-A3B 在 Q4_K_M、32K 上下文下约 20.8 GB，宽裕；一直到 128K 也只是偏紧，因为它 49 层中只有 13 层保留增长缓存。Qwen3-Coder 30B-A3B 在 Q4_K_M、8K 上下文下约 20.1 GB，宽裕；32K 下约 22.6 GB，偏紧。两者都是混合专家模型，每个 token 约激活 3B 参数，所以生成速度比稠密 30B 快得多。本站没有跑编程评测，所以不评判哪个代码写得更好。
运行
用 Ollama 时，直接从 GGUF 仓库拉取指定的量化档位；在这个体量上，Q4_K_M 和 Q5_K_M 往往就是宽裕和偏紧的区别。用 llama.cpp 时，传 -ngl all 和明确的 -c。新版本会自动按显卡容量调整，并保留约 1 GiB 空闲，所以接近上限的模型会悄悄把部分层留在 CPU 上；明确要求全部层上 GPU，设置装不下时就会在加载阶段直接报错。除非你确实要对局域网提供服务，否则绑定 127.0.0.1。
ollama run hf.co/bartowski/Qwen_Qwen3.6-27B-GGUF:Q4_K_M
/set parameter num_ctx 32768
ollama ps # PROCESSOR should read 100% GPU
# or llama.cpp:
hf download bartowski/Qwen_Qwen3.6-27B-GGUF --include "Qwen_Qwen3.6-27B-Q4_K_M.gguf" --local-dir ./models
./build/bin/llama-server -m ./models/Qwen_Qwen3.6-27B-Q4_K_M.gguf \
-ngl all -c 32768 --host 127.0.0.1 --port 8080
# load_tensors: offloaded 65/65 layers to GPU确认真的在 GPU 上
以下任何一项都够：ollama ps 显示 100% GPU；llama.cpp 的启动日志显示所有层都已卸载；模型加载期间 nvidia-smi 显示显存被占用。“能跑但很慢”最常出现在偏紧的模型上：Windows 上 NVIDIA 控制面板的系统内存回退默认开启，显存不够时会溢出到系统内存而不是报错，于是只超出几百 MB 的模型会变得慢得出奇。调试显存占用时，把 CUDA 系统内存回退策略设为不回退。
nvidia-smi --query-gpu=name,memory.used,memory.total --format=csv
# measure speed on your own card:
./build/bin/llama-bench -m ./models/Qwen_Qwen3.6-27B-Q4_K_M.gguf -ngl 99 # pp512 / tg128出问题时
在 24GB 显卡上，大多数问题来自一个本来就只是“偏紧”的模型。
Loads, then runs out of memory partway through a long answer
→ the KV cache grows with the conversation; lower -c / num_ctx
Loads, but generates at a few tok/s
→ layers on the CPU: check ollama ps / the load_tensors line
→ Windows: System Memory Fallback is hiding an out-of-memory
A 35B model "fits" in the calculator but not in practice
→ it is tight: close the browser / other GPU apps, or drop one quant level
Want 70B
→ does not fit one 24 GB card at Q4_K_M; see the dual-GPU guide常见问题
24GB 显卡能跑 32B 模型吗？
用 Q4_K_M 只能配短上下文，而且只是偏紧。本站估算 Qwen3 32B 在 Q4_K_M、8K 上下文下约 22.9 GB，已经越过宽裕线；32K 上下文就装不下了。用 Q3_K_M 时 4K 下约 17.7 GB。如果想要差不多体量、又有像样上下文的稠密模型，Qwen3.6 27B 在 Q4_K_M、32K 上下文下约 21.0 GB，仍然宽裕。
跑本地大模型，RTX 3090 还是 RTX 4090？
能装下的模型一样：两张卡都能在 4K 上下文下宽裕装下本索引 117 个模型中的 88 个。区别在带宽，936 对 1,008 GB/s，Qwen3.6 27B（Q4_K_M）的生成速度上限在 3090 上约 55 tok/s，在 4090 上约 59 tok/s。如果只是跑模型而不是训练，二手 3090 损失很小。
24GB 显卡能跑 70B 模型吗？
单卡跑不了。本站估算 Llama 3.3 70B 在 Q4_K_M、4K 上下文下约 46.1 GB，接近这张卡容量的两倍。现实的路线是两张 24GB 显卡，或者把大部分模型卸载到系统内存（速度损失很大）；前者见双卡指南。
这篇指南用到了什么
接下来
看看 🟢 RTX 4090 还能跑哪些模型反向查询 —— 24GB、32768 上下文，按质量排序本文涉及的模型
它真的跑起来了吗？
复制命令并不等于它能用，所以站内只在这里问一次。除了你的这个回答之外，不收集任何东西。
相关指南
RTX 5090：32GB 显存在本地大模型上到底多出什么
RTX 5090 能装下而 24GB 卡装不下的是什么：模型数量没多几个，但上下文长得多、速度上限更高。数字来自计算器，附 Blackwell 的配置要点。
12GB 显卡能跑什么（RTX 3060 12G、4070、5070）
12GB NVIDIA 显卡在 8K–32K 上下文下能装下哪些模型、14B 从哪里开始装不下、如何用 Ollama 或 llama.cpp 运行，以及如何确认确实跑在 GPU 上。
本地运行 GPT-OSS 20B（及 120B）——不要重新量化
GPT-OSS 原生就是 MXFP4，习惯性去下 Q4_K_M 反而更大更差。本文讲清显存怎么算、该用哪些参数，以及如何用 MoE 专家卸载在 24GB 卡上跑 120B。