AWQ 详解

AWQ 是什么、哪些运行时能读它、显存开销如何，以及本索引 81 个模型中提供该格式的全部 53 个。

AWQ 是什么

激活感知权重量化，高精度 INT4，专为 NVIDIA GPU 优化，与 vLLM 搭配是服务端最优解。 本索引的 81 个模型中有 53 个提供该格式，共 1 个量化档位 —— INT4。

什么运行时能读它

vLLM · AutoAWQ · TGI。硬件要求：NVIDIA GPU (CUDA 11.8+)。最擅长的场景：高吞吐 API 服务端。强项：4-bit 精度最高；vLLM 下速度极快；批量推理吞吐出色。短板：仅限 NVIDIA；配置比 GGUF 复杂。

它要多少显存

Llama 3.1 8B Instruct 在 AWQ INT4 下为每权重 4 比特，折合权重 3.8 GB，加上 4K 上下文的 KV 缓存 0.5 GB 与激活缓冲 0.4 GB —— 合计 4.8 GB；本索引中能从容装下它的最小显卡是 RTX 5060 Ti 8G（8 GB）。 在本站有该档位公开困惑度数据的 53 个模型中，相对 FP16 的损失中位数为 4.0%。

本索引收录的 AWQ 档位

档位每权重比特模型数损失中位数
INT44534.0%53 个样本的中位数

每权重比特取自模型自己的数据行，因此出现区间说明不同模型在同一档位下的实际大小略有差异。损失中位数只统计该档位有公开困惑度数据的模型，样本量标在旁边。

本索引中提供 AWQ 的模型

81 个中的 53 个，按参数量从大到小排列，各自标出最小的 AWQ 档位，以及该档位已公开的困惑度损失（若有）。

浏览 AWQ 模型

常见问题

AWQ 是什么？

激活感知权重量化，高精度 INT4，专为 NVIDIA GPU 优化，与 vLLM 搭配是服务端最优解。 它由 vLLM · AutoAWQ · TGI 读取，硬件要求为 NVIDIA GPU (CUDA 11.8+)，本索引 81 个模型中有 53 个提供该格式。

Llama 3.1 8B Instruct 用 AWQ 需要多少显存？

在 AWQ INT4、4K 上下文下约 4.8 GB，其中权重本身占 3.8 GB，因此 8 GB 的显卡可以从容运行。上下文更长会额外增加 KV 缓存；计算器可以算任意组合。

该用 AWQ 还是别的格式？

取决于你用什么来跑：这个格式的位置是「高吞吐 API 服务端」。本站把它与 GGUF、EXL2 做了直接对比，且只用同时提供两种格式的模型 —— 只有那里的对比是可测量的，而不是编辑观点。

AWQ 与其他格式的对比