进阶服务器 / VPS 11 分钟阅读

Nginx 反向代理本地 LLM API

用 Nginx 为 Ollama 或 llama.cpp 提供 TLS、限流和稳定的 /v1 端点。

已验证技术栈

Nginx · TLS · proxy_read_timeout 300s · Ollama/llama.cpp /v1 · 限流

最近验证 2026-07-22

NginxAPITLSOllamallama.cpp

Ollama 基础反代

Ollama 提供 OpenAI 兼容的 /v1/chat/completions。反代时需设长超时 — LLM 响应较慢。

nginx
server {
    listen 443 ssl;
    server_name llm.example.com;

    ssl_certificate     /etc/letsencrypt/live/llm.example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/llm.example.com/privkey.pem;

    location /v1/ {
        proxy_pass http://127.0.0.1:11434/v1/;
        proxy_read_timeout 300s;
        proxy_send_timeout 300s;
        client_max_body_size 10m;
    }
}

限流

对公网 VPS 加 limit_req 防滥用，按预期用户数调整速率。

nginx
limit_req_zone $binary_remote_addr zone=llm:10m rate=10r/m;

location /v1/ {
    limit_req zone=llm burst=5 nodelay;
    proxy_pass http://127.0.0.1:11434/v1/;
    proxy_read_timeout 300s;
}

相关指南

入门服务器 / VPS8 分钟阅读

在 €20/月 VPS 上运行 Llama 3.1 8B

使用 llama.cpp 服务模式在低价 Linux VPS 上搭建私有 LLM API 的完整教程。

进阶服务器 / VPS12 分钟阅读

用 vLLM 在 RTX 4090 上搭建多模型 API 服务

用 vLLM 的连续批处理技术，在单张 RTX 4090 上提供生产级多模型 API 服务。

进阶服务器 / VPS8 分钟阅读

TabbyAPI：带 Web UI 的 ExLlamaV2 服务

用 TabbyAPI 封装 ExLlamaV2，获得流式输出和模型热切换的 OpenAI 兼容服务。

部署指南仅供学习参考。每个模型均有独立许可协议 — 下载或部署前请阅读 Hugging Face 官方模型卡。