按硬件选本地大模型
每个显存档位给一个推荐,由驱动计算器的同一份索引算出 —— 不是把装得下的都列一遍。选你的容量,每页会给出通用、写代码、看图三种用途各自的模型,附显存计算过程,以及上下文拉长后哪一个会先撑不住。
- 8GB 能跑的最好的本地大模型35 个模型装得下,通用场景首选 Stable LM 2 12B Chat(AWQ INT4,约 7.0 GB)。6 · RTX 5060 Ti 8G, RTX 5060, RTX 4060 Ti 8G…
- 12GB 能跑的最好的本地大模型46 个模型装得下,通用场景首选 DeepSeek-V2-Lite Chat(AWQ INT4,约 9.1 GB)。8 · RTX 5070, RTX 4070 Ti, RTX 4070 Super…
- 16GB 能跑的最好的本地大模型52 个模型装得下,通用场景首选 Mistral Small 24B Instruct(AWQ INT4,约 13.2 GB)。12 · RTX 5080, RTX 5070 Ti, RTX 5060 Ti 16G…
- 24GB 能跑的最好的本地大模型65 个模型装得下,通用场景首选 Seed-OSS 36B Instruct(AWQ INT4,约 19.9 GB)。3 · RTX 4090, RTX 3090, Radeon RX 7900 XTX
- 32GB 能跑的最好的本地大模型66 个模型装得下,通用场景首选 Mixtral 8x7B Instruct(AWQ INT4,约 24.9 GB)。2 · RTX 5090, Instinct MI100 32G
- Apple 芯片 能跑的最好的本地大模型66 个模型装得下,通用场景首选 Mixtral 8x7B Instruct(Q4_K_M,约 30.1 GB)。18 Apple 芯片 · Mac M5 Ultra 512G, Mac M5 Ultra 256G, Mac M5 Max 128G…