8G 到 32G 显存,本地大模型怎么选?

按显存容量和用途选模型,查看对应量化档位和预计占用。覆盖五种显存容量,比较对话、编程和多模态用途,并可进入每档的详细推荐。

按 4096 tokens 上下文、单路文本推理估算。

以 NVIDIA 显卡为例,每种用途选取预计可留出显存余量的较大模型。同一模型入选多个用途时只列一次。数字按单路文本推理估算,图像输入还需计入视觉编码器。

8 GB

12 GB

16 GB

24 GB

32 GB