高级端侧 / 本地 11 分钟阅读

双 RTX 3090 运行 70B（llama.cpp）

双 24GB 卡张量切分，运行 Llama 3.1 70B 或 Qwen2.5 72B Q4 量化。

已验证技术栈

2× RTX 3090 24G · llama.cpp CUDA · --tensor-split · 70B Q4_K_M

最近验证 2026-07-22

70BMulti-GPUllama.cpptensor-split

张量切分

用 --tensor-split 将层分布到多卡。Q4_K_M 70B 权重约 44GB，48GB 总量勉强可行。

bash

./build/bin/llama-server \
  -m ./models/Llama-3.1-70B-Q4_K_M.gguf \
  --tensor-split 24,24 \
  -c 4096 -ngl 99 \
  --host 0.0.0.0 --port 8080

本文涉及的模型

用 llama.cpp 的 quantize 工具将任意 HF 模型转为 GGUF Q4_K_M 本地推理。

用 llama.cpp HIP 后端在 RX 7900 / 6800 系列上跑 GGUF — 能做什么、不能做什么。

Windows 11 上编译带 NVIDIA GPU 支持的 llama.cpp — PC 玩家的最简路径。

部署指南仅供学习参考。每个模型均有独立许可协议 — 下载或部署前请阅读 Hugging Face 官方模型卡。