高级端侧 / 本地 12 分钟阅读

AMD 显卡 + llama.cpp ROCm 快速入门

用 llama.cpp HIP 后端在 RX 7900 / 6800 系列上跑 GGUF — 能做什么、不能做什么。

已验证技术栈

Linux · ROCm 6.x · llama.cpp GGML_HIP=ON · RX 7900/6800 级

最近验证 2026-07-22

AMDROCmllama.cppHIPLinux

支持的硬件

消费级 AMD 的 ROCm 支持仅限 Linux，且因架构而异。RDNA3（7900 XTX）和 RDNA2（6800 XT）社区反馈最好。Windows ROCm 仍属实验性。

text
Good: RX 7900 XTX, RX 6800 XT, RX 6900 XT (Linux)
Patchy: RX 6700 XT, older Polaris
Not supported: integrated Radeon graphics

HIP 编译 llama.cpp

安装 ROCm 6.x，以 GGML_HIP=ON 编译。若显卡不在官方列表，设置 HSA_OVERRIDE_GFX_VERSION。

bash
# Ubuntu 22.04 example
sudo apt install rocm-dev

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DGGML_HIP=ON -DCMAKE_C_COMPILER=clang -DCMAKE_CXX_COMPILER=clang++
cmake --build build -j$(nproc)

./build/bin/llama-server -m ./model.gguf -ngl 99 -c 4096 --host 0.0.0.0

接下来

看看 🔴 Radeon RX 7900 XTX 还能跑哪些模型反向查询 —— 24GB、8192 上下文，按质量排序

本文涉及的模型

相关指南

高级端侧 / 本地11 分钟阅读

双 RTX 3090 运行 70B（llama.cpp）

双 24GB 卡张量切分，运行 Llama 3.1 70B 或 Qwen2.5 72B Q4 量化。

高级端侧 / 本地12 分钟阅读

将自己的模型量化为 GGUF

用 llama.cpp 的 quantize 工具将任意 HF 模型转为 GGUF Q4_K_M 本地推理。

入门端侧 / 本地9 分钟阅读

Windows + CUDA 运行 llama.cpp

Windows 11 上编译带 NVIDIA GPU 支持的 llama.cpp — PC 玩家的最简路径。

部署指南仅供学习参考。每个模型均有独立许可协议 — 下载或部署前请阅读 Hugging Face 官方模型卡。