我的显卡能跑哪些本地大模型?
选择显卡,按显存查找可运行的大模型、量化版本和上下文长度。支持按设备反查,并可调整输入类型、量化档位与上下文后重新估算。
选择显卡,查看能跑哪些模型
常见显卡:
准备运行什么?
按纯文本推理计算,不含视觉编码器;只推荐支持所选上下文长度的模型。
4K4,096 个 token
KV 缓存类型
f16 是 llama.cpp 和 Ollama 的默认值。
1
14816
选择硬件...
常见问题
我的显卡可以运行哪些大模型?
选择具体显卡和上下文长度,优先看有显存余量的配置。点击模型可比较不同量化版本。
如何挑选适合本机的模型?
先按对话或编程等用途筛选。需要长文档时,用目标上下文重新估算。图像输入请切换到图像模式。