8G 到 32G 显存,本地大模型怎么选?
按显存容量和用途选模型,查看对应量化档位和预计占用。覆盖五种显存容量,比较对话、编程和多模态用途,并可进入每档的详细推荐。
按 4096 tokens 上下文、单路文本推理估算。
以 NVIDIA 显卡为例,每种用途选取预计可留出显存余量的较大模型。同一模型入选多个用途时只列一次。数字按单路文本推理估算,图像输入还需计入视觉编码器。
8 GB
对话 / 编程
Falcon 3 10B InstructGPTQ · INT4 · 6.1 GiB多模态
Qwen3.5 9BGGUF · Q4_K_M · 6.6 GiB
12 GB
对话
Hy-Memory-30B-A3BGGUF · Q8_0-expsIQ2_XXS · 9.9 GiB编程
DeepSeek-V2-Lite ChatGGUF · Q4_K_M · 10.1 GiB多模态
Ternary Bonsai 2 27BGGUF · Q2_0 · 8.2 GiB
16 GB
对话
Xing4.0 29B-A4BGGUF · Q2_K · 13.6 GiB编程 / 多模态
Arete 27BGGUF · Q3_K_M · 14.0 GiB
24 GB
对话
Kolibri-1 78B-A3.5BGGUF · IQ1_M · 20.9 GiB编程
Ripple-65B-PreviewGGUF · IQ1_M · 20.0 GiB多模态
Apex 35B V1.0GGUF · Q3_K_M · 18.7 GiB
32 GB
对话
Kolibri-1 78B-A3.5BGGUF · IQ2_XS · 25.6 GiB编程 / 多模态
Nemotron 3.5 Bolt 74B-A9BGGUF · IQ2_XXS · 23.1 GiB