RTX 3060 12G 能跑哪些大模型？

RTX 3060 12G 的简短答案

12 GB，360 GB/s GDDR6。索引中 87 个模型里有 47 个能在 4K 上下文下从容运行，49 个至少能加载。

能装下的最大模型

DeepSeek-Coder-V2-Lite Instruct — Q4_K_M 下约 10.1 GB —— 4K 时仅剩 1.9 GB，上下文再拉长就要动用这点余量。

留有余量的选择

Qwen2-VL 7B Instruct — Q4_K_M 下约 5.5 GB —— 占用不到显存的 60%，留下 6.5 GB 给长上下文或第二个进程。

速度上限

Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 360 GB/s 给出的硬上限约为 78 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录，因此无法与这个上限对照。

你会先撞到的墙

瓶颈是带宽，不是容量。本页的模型都装得下，但在 360 GB/s 下，每生成一个 token 这张卡都要把整套权重读一遍 —— 同样是 12 GB 的 RTX 3080 Ti 带宽为 912 GB/s，搬运这些字节要快 2.5 倍。同一量化档位在这张卡上生成速度会成比例地更慢。