PyTorch没用上显卡

sm_120 is not compatible with PyTorch 报错

报错原文

<GPU> with CUDA capability sm_<nn> is not compatible with the current PyTorch installation.

尖括号 <…> 里的内容每次运行都会不同。

是什么意思

安装的 PyTorch 没有为这一代显卡编译 —— 最常见的是 RTX 50 系（sm_120）配上了为旧 CUDA 编译的 PyTorch。vLLM 和 Transformers 随后会报错或退回 CPU。

为什么会出现

  • PyTorch 安装包是为低于 12.8 的 CUDA 编译的；Blackwell 显卡需要 12.8 或更新。

怎么解决

  1. 用 uv pip install vllm --torch-backend=auto 安装 vLLM，它会自动选择和你的驱动匹配的 PyTorch 版本。
  2. 只装 PyTorch 时，用 pytorch.org 的安装选择器，选 CUDA 12.8 及以上的版本。

相关指南

核对来源

报错原文于 2026-10-26 从源码中读取核对。