我的显卡能跑哪些本地大模型?

选择显卡,按显存查找可运行的大模型、量化版本和上下文长度。支持按设备反查,并可调整输入类型、量化档位与上下文后重新估算。

选择显卡,查看能跑哪些模型

常见显卡:

准备运行什么?

按纯文本推理计算,不含视觉编码器;只推荐支持所选上下文长度的模型。

4K4,096 个 token

KV 缓存类型

f16 是 llama.cpp 和 Ollama 的默认值。

1
14816

选择硬件...

常见问题

我的显卡可以运行哪些大模型?

选择具体显卡和上下文长度,优先看有显存余量的配置。点击模型可比较不同量化版本。

如何挑选适合本机的模型?

先按对话或编程等用途筛选。需要长文档时,用目标上下文重新估算。图像输入请切换到图像模式。