进阶服务器 / VPS 8 分钟阅读

TabbyAPI：带 Web UI 的 ExLlamaV2 服务

用 TabbyAPI 封装 ExLlamaV2，获得流式输出和模型热切换的 OpenAI 兼容服务。

已验证技术栈

TabbyAPI · ExLlamaV2 · EXL2 models/ · OpenAI API :5000

最近验证 2026-07-22

TabbyAPIExLlamaV2APIEXL2

安装 TabbyAPI

TabbyAPI 是最流行的 ExLlamaV2 服务封装，自带 Web UI。

bash
git clone https://github.com/theroyallab/tabbyAPI
cd tabbyAPI
pip install -r requirements.txt

配置并运行

将 EXL2 模型放入 models/ 目录并启动 API 服务。

bash
python main.py --port 5000
# API: http://localhost:5000/v1/chat/completions

相关指南

进阶服务器 / VPS12 分钟阅读

用 vLLM 在 RTX 4090 上搭建多模型 API 服务

用 vLLM 的连续批处理技术，在单张 RTX 4090 上提供生产级多模型 API 服务。

进阶服务器 / VPS11 分钟阅读

Nginx 反向代理本地 LLM API

用 Nginx 为 Ollama 或 llama.cpp 提供 TLS、限流和稳定的 /v1 端点。

入门服务器 / VPS8 分钟阅读

在 €20/月 VPS 上运行 Llama 3.1 8B

使用 llama.cpp 服务模式在低价 Linux VPS 上搭建私有 LLM API 的完整教程。

部署指南仅供学习参考。每个模型均有独立许可协议 — 下载或部署前请阅读 Hugging Face 官方模型卡。