Tesla P100 16G 能跑哪些大模型？

Tesla P100 16G 的简短答案

16 GB，732 GB/s HBM2。索引中 81 个模型里有 52 个能在 4K 上下文下从容运行，61 个至少能加载。

能装下的最大模型

Mistral Small 24B Instruct — AWQ INT4 下约 13.2 GB —— 4K 时仅剩 2.8 GB，上下文再拉长就要动用这点余量。

留有余量的选择

Stable LM 2 12B Chat — Q4_K_M 下约 8.3 GB —— 占用不到显存的 60%，留下 7.7 GB 给长上下文或第二个进程。

速度上限

Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 732 GB/s 给出的硬上限约为 158 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录，因此无法与这个上限对照。

你会先撞到的墙

瓶颈是带宽，不是容量。本页的模型都装得下，但在 732 GB/s 下，每生成一个 token 这张卡都要把整套权重读一遍 —— 同样是 16 GB 的 RTX 5080 带宽为 960 GB/s，搬运这些字节要快 1.3 倍。同一量化档位在这张卡上生成速度会成比例地更慢。