本地部署大模型需要多少显存?

对照常见显卡和模型参数规模,查看 4K 上下文时的量化档位和预计显存。表中每个示例都链接到模型详情,方便继续查看其他量化版本的内存开销。

按 4096 tokens 上下文、单路文本推理估算。

每格选一个能留出余量的模型,列出具体量化版本和预计占用。空格表示该档未找到符合条件的目录模型。

显卡≤3B7B14B32B70B+
RTX 4060 Ti 8G
Qwen3 4B Instruct
GGUF · Q6_K · 4.0 GiB
GLM-4-9B-Chat
GGUF · Q4_K_M · 5.9 GiB
Falcon 3 10B Instruct
GPTQ · INT4 · 6.1 GiB
——
RTX 3060 12G
Qwen3 4B Instruct
GGUF · Q6_K · 4.0 GiB
GLM-4-9B-Chat
GGUF · Q8_0 · 10.2 GiB
DeepSeek-Coder-V2-Lite Instruct
GGUF · Q4_K_M · 10.1 GiB
Hy-Memory-30B-A3B
GGUF · Q8_0-expsIQ2_XXS · 9.9 GiB
—
RTX 4060 Ti 16G
Qwen3 4B Instruct
GGUF · Q6_K · 4.0 GiB
GLM-4-9B-Chat
GGUF · Q8_0 · 10.2 GiB
DeepSeek-Coder-V2-Lite Instruct
GGUF · Q4_K_M · 10.1 GiB
Xing4.0 29B-A4B
GGUF · Q2_K · 13.6 GiB
—
RTX 4090
Qwen3 4B Instruct
GGUF · Q6_K · 4.0 GiB
GLM-4-9B-Chat
GGUF · Q8_0 · 10.2 GiB
DeepSeek-Coder-V2-Lite Instruct
GGUF · Q8_0 · 17.6 GiB
Recursive Flint 40B-A2.5B
GGUF · Q3_K_M · 20.6 GiB
Kolibri-1 78B-A3.5B
GGUF · IQ1_M · 20.9 GiB
RTX 5090
Qwen3 4B Instruct
GGUF · Q6_K · 4.0 GiB
GLM-4-9B-Chat
GGUF · Q8_0 · 10.2 GiB
DeepSeek-Coder-V2-Lite Instruct
GGUF · Q8_0 · 17.6 GiB
Recursive Flint 40B-A2.5B
GGUF · Q4_K_M · 26.7 GiB
Kolibri-1 78B-A3.5B
GGUF · IQ2_XS · 25.6 GiB