进阶端侧 / 本地 9 分钟阅读

DeepSeek-R1 Distill 14B：EXL2 vs GGUF 对比

RTX 4090 实测对比 — 何时选 turboderp EXL2 而非 bartowski GGUF。

已验证技术栈

RTX 4090 · R1-Distill-Qwen-14B · EXL2 4.65bpw vs GGUF Q4_K_M · ExLlamaV2 / llama.cpp

最近验证 2026-07-22

DeepSeek-R1EXL2GGUFExLlamaV2

速度 vs 简便性

ExLlamaV2 跑 EXL2 比 llama.cpp 跑 GGUF 快约 35%。GGUF 在部署简便性和 Ollama 兼容性上更优。

text

EXL2 4.65bpw → ~128 tok/s (ExLlamaV2, RTX 4090)
GGUF Q4_K_M  → ~95 tok/s (llama.cpp, RTX 4090)

从 Hugging Face 下载 turboderp 的 EXL2 量化。用 TabbyAPI 或 ExLlamaV2 server 提供 OpenAI 兼容 API。

bash

huggingface-cli download turboderp/DeepSeek-R1-Distill-Qwen-14B-exl2 \
  --include "*4.65bpw*" --local-dir ./models/r1-14b-exl2