进阶端侧 / 本地 10 分钟阅读

RTX 4090 上 ExLlamaV2 完整配置

10 分钟内安装 ExLlamaV2、加载 EXL2 量化并提供 OpenAI 兼容 API。

已验证技术栈

Python 3.10+ · CUDA 12.x · ExLlamaV2 · EXL2 模型目录 · RTX 4090

最近验证 2026-07-22

ExLlamaV2EXL2RTX 4090API

安装

ExLlamaV2 需要 NVIDIA CUDA，推荐 Python 3.10+。

bash
pip install exllamav2
# Or clone for latest:
git clone https://github.com/turboderp/exllamav2
cd exllamav2 && pip install -r requirements.txt

运行推理

指向已下载的 EXL2 模型目录，用 -c 调整上下文长度。

bash
python examples/chat.py \
  -m ./models/Llama-3.1-8B-exl2-4.65bpw \
  -c 4096 -gs 16

相关指南

进阶端侧 / 本地9 分钟阅读

DeepSeek-R1 Distill 14B：EXL2 vs GGUF 对比

RTX 4090 实测对比 — 何时选 turboderp EXL2 而非 bartowski GGUF。

进阶端侧 / 本地8 分钟阅读

单卡 RTX 4090 运行 Qwen2.5-Coder 32B

24GB 能装下的最佳开源代码模型 — 量化选择与调优技巧。

入门端侧 / 本地7 分钟阅读

RTX 4060 Ti 16G 能跑什么模型？

英伟达最佳 16GB 入门卡的模型与量化级别选型指南。

部署指南仅供学习参考。每个模型均有独立许可协议 — 下载或部署前请阅读 Hugging Face 官方模型卡。