vLLM显存不足

vLLM 启动报 Free memory on device 不足

报错原文

Free memory on device <dev> (<free>/<total> GiB) on startup is less than desired GPU memory utilization (<u>, <n> GiB). Decrease GPU memory utilization or reduce GPU memory used by other processes.

尖括号 <…> 里的内容每次运行都会不同。

是什么意思

vLLM 启动时会预留显卡的固定比例（--gpu-memory-utilization，当前版本不设时为 0.92）。显卡已经被别的东西占用了一部分，这个比例的显存已经不空闲。

为什么会出现

  • 同一张卡上有桌面会话、浏览器或另一个模型服务。
  • 之前的 vLLM 进程没有正常退出。

怎么解决

  1. 调低比例：--gpu-memory-utilization 0.85（本站生成的命令用的就是 0.85）。
  2. 用 nvidia-smi 找到占用显卡的进程并停掉。

相关指南

相关报错

核对来源

报错原文于 2026-10-26 从源码中读取核对。