入门服务器 / VPS 8 分钟阅读

在 €20/月 VPS 上运行 Llama 3.1 8B

使用 llama.cpp 服务模式在低价 Linux VPS 上搭建私有 LLM API 的完整教程。

已验证技术栈

Ubuntu 22.04/24.04 · llama.cpp CUDA/CPU · Q4_K_M GGUF · 16GB+ 内存

最近验证 2026-07-22

llama.cppVPSLinuxGGUFAPI

环境要求

需要至少 16GB 内存的 Linux VPS（推荐 32GB）。纯 CPU 推理对于个人用途完全可用。

bash
# Tested on Ubuntu 22.04 LTS
# RAM: 16–32 GB | CPU: 4–8 cores
# Monthly cost: ~€15–25 (Hetzner CX32 / OVH Advance)

安装 llama.cpp

从源码编译以获得最佳 CPU 性能，启用 OpenBLAS 加速。

bash
sudo apt update && sudo apt install -y build-essential cmake libopenblas-dev
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS
cmake --build build --config Release -j$(nproc)

下载模型

内存有限时使用 Q4_K_M，8B 模型轻松放入 16GB 内存。

bash
pip install huggingface_hub
huggingface-cli download bartowski/Meta-Llama-3.1-8B-Instruct-GGUF \
  --include "Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf" \
  --local-dir ./models

启动服务

在 8080 端口以服务模式运行 llama.cpp，添加 API 密钥进行基础鉴权。

bash
./build/bin/llama-server \
  -m ./models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf \
  --host 0.0.0.0 --port 8080 \
  -c 8192 \
  -t $(nproc) \
  --api-key "your-secret-key"

相关指南

进阶服务器 / VPS7 分钟阅读

CPU 推理：llama.cpp OpenBLAS 调优

在纯 CPU VPS 上通过线程数和 BLAS 后端调优最大化 tok/s。

进阶服务器 / VPS11 分钟阅读

Nginx 反向代理本地 LLM API

用 Nginx 为 Ollama 或 llama.cpp 提供 TLS、限流和稳定的 /v1 端点。

进阶服务器 / VPS12 分钟阅读

用 vLLM 在 RTX 4090 上搭建多模型 API 服务

用 vLLM 的连续批处理技术，在单张 RTX 4090 上提供生产级多模型 API 服务。

部署指南仅供学习参考。每个模型均有独立许可协议 — 下载或部署前请阅读 Hugging Face 官方模型卡。