Radeon RX 9060 XT 8G 能跑哪些大模型？

Radeon RX 9060 XT 8G 的简短答案

8 GB，320 GB/s GDDR6。索引中 87 个模型里有 36 个能在 4K 上下文下从容运行，43 个至少能加载。

能装下的最大模型

Stable LM 2 12B Chat — AWQ INT4 下约 7.0 GB —— 4K 时仅剩 1.0 GB，上下文再拉长就要动用这点余量。

留有余量的选择

Qwen3 4B Instruct — Q6_K 下约 4.0 GB —— 占用不到显存的 60%，留下 4.0 GB 给长上下文或第二个进程。

速度上限

Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 320 GB/s 给出的硬上限约为 69 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录，因此无法与这个上限对照。

你会先撞到的墙

瓶颈是后端支持，不是容量。在 320 GB/s 下，显存子系统与同容量的 NVIDIA 卡相当；真正的变量是你的运行时是否有适配你内核与显卡的可用 ROCm 构建。llama.cpp 与 vLLM 都提供官方 ROCm 支持 —— 这是配置问题，不是硬件天花板。