本地部署大模型需要多少显存?
对照常见显卡和模型参数规模,查看 4K 上下文时的量化档位和预计显存。表中每个示例都链接到模型详情,方便继续查看其他量化版本的内存开销。
按 4096 tokens 上下文、单路文本推理估算。
每格选一个能留出余量的模型,列出具体量化版本和预计占用。空格表示该档未找到符合条件的目录模型。
| 显卡 | ≤3B | 7B | 14B | 32B | 70B+ |
|---|---|---|---|---|---|
| RTX 4060 Ti 8G | Qwen3 4B Instruct GGUF · Q6_K · 4.0 GiB | GLM-4-9B-Chat GGUF · Q4_K_M · 5.9 GiB | Falcon 3 10B Instruct GPTQ · INT4 · 6.1 GiB | — | — |
| RTX 3060 12G | Qwen3 4B Instruct GGUF · Q6_K · 4.0 GiB | GLM-4-9B-Chat GGUF · Q8_0 · 10.2 GiB | DeepSeek-Coder-V2-Lite Instruct GGUF · Q4_K_M · 10.1 GiB | Hy-Memory-30B-A3B GGUF · Q8_0-expsIQ2_XXS · 9.9 GiB | — |
| RTX 4060 Ti 16G | Qwen3 4B Instruct GGUF · Q6_K · 4.0 GiB | GLM-4-9B-Chat GGUF · Q8_0 · 10.2 GiB | DeepSeek-Coder-V2-Lite Instruct GGUF · Q4_K_M · 10.1 GiB | Xing4.0 29B-A4B GGUF · Q2_K · 13.6 GiB | — |
| RTX 4090 | Qwen3 4B Instruct GGUF · Q6_K · 4.0 GiB | GLM-4-9B-Chat GGUF · Q8_0 · 10.2 GiB | DeepSeek-Coder-V2-Lite Instruct GGUF · Q8_0 · 17.6 GiB | Recursive Flint 40B-A2.5B GGUF · Q3_K_M · 20.6 GiB | Kolibri-1 78B-A3.5B GGUF · IQ1_M · 20.9 GiB |
| RTX 5090 | Qwen3 4B Instruct GGUF · Q6_K · 4.0 GiB | GLM-4-9B-Chat GGUF · Q8_0 · 10.2 GiB | DeepSeek-Coder-V2-Lite Instruct GGUF · Q8_0 · 17.6 GiB | Recursive Flint 40B-A2.5B GGUF · Q4_K_M · 26.7 GiB | Kolibri-1 78B-A3.5B GGUF · IQ2_XS · 25.6 GiB |