ERNIE 4.5 21B-A3B

21B-A3B

Baidu ERNIE 4.5

百度开源的混合专家模型:总参数约 21.8B,每个 token 约激活 3B,由 64 个路由专家(每个 token 选 6 个)加 2 个共享专家组成。总参数决定显存,激活参数决定速度,所以它需要 20B 级模型的显存,每个 token 读取的数据量却和 3B 模型差不多。Q4_K_M 在 4K 上下文下约需 14.2 GB,在 16 GB 显卡上刚好越过“宽裕”线(能加载,余量很小);24 GB 显卡,或 24 GB 的 Mac(靠 GPU 可用的那部分统一内存)才有真正的上下文余量。体积按 PT(指令版)检查点已发布的 GGUF 文件计算;bartowski 的 Q4_K_M 是另一个文件,比这里用的 Unsloth 版大 0.17 GB。各档位的质量损失未公布。

⬇ 17.2K HF 下载量♥ 178 点赞baidu/ERNIE-4.5-21B-A3B-PT· 数据更新于 11/17/2026
消费级显卡Mac / 苹果芯片

131K

最大上下文

2

量化变体

GGUF Q8_0

最佳质量

—

困惑度增幅(最佳档位)

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站跑过 · 估算 = 本站未跑过:推算所得,或本站未核实的数字 · 社区 = 公开报告

格式级别BPW显存PPL 损失速度来源操作
GGUFQ4_K_M4.8914.2 GB——估算
计算HF
GGUFQ8_08.524.5 GB——估算
计算HF

每个体积对应哪个文件

文件大小不等于显存:显存一栏是计算器在 4K 上下文下的总量 —— 权重加 KV 缓存,再加 10% 的激活缓冲。两边的单位是有意不同的:文件大小用十进制 GB,和 Hugging Face 列表一致;显存一栏用 GiB(1024³ 字节),并在权重上多算 2%,所以 7.12 GB 的文件在那一栏里约是 6.8 GiB。仓库若带视觉投影(mmproj),它是另外下载的文件,两个数字都不含它。

相关社区实测

以下报告只代表报告自身的测试条件,其速度不会替代本页估算,也不能证明你的配置能装下。

我们审核过的链接索引尚未收录此模型的报告。你可以浏览社区实测,或在下方分享自己的测试。

在 llamaPerf 浏览更多实测 ↗

在本地运行 ERNIE 4.5 21B-A3B

在 Q4_K_M、4K 上下文下,ERNIE 4.5 21B-A3B 约需 14.2 GB —— 权重 12.7 GB、KV 缓存 0.22 GB、激活缓冲 1.3 GB。本索引中能宽裕跑它的最小显卡是 20 GB 的 Radeon RX 7900 XT,78 张卡中有 34 张可以。这些是计算值而非实测值:估算把「宽裕」的界线画在显存的 88%,大致就是桌面环境需要留出的余量。

上下文变长会多花多少

从 4K 提到 32K 约多占 1.53 GB,总量来到 15.9 GB。权重不随上下文变化,只有 KV 缓存会,而且是线性增长 —— 规划长文档场景时要盯的就是这个数字。该模型的原生上下文是 128K;在 Q4_K_M 下把它全部撑满约需 22 GB。

该下载哪个版本

本索引只收录了 ERNIE 4.5 21B-A3B 的 GGUF 格式,共 2 个档位(Q4_K_M、Q8_0)。 该模型没有公开的逐档困惑度数据,因此质量一列留空而不是填估算值 —— 在同一个模型内部,位数越多越忠实是数据唯一支持的排序。本站硬件上没有该模型的吞吐实测数据。GGUF 可在 NVIDIA、AMD 与苹果芯片上通过 llama.cpp 和 Ollama 运行;AWQ 与 GPTQ 面向 CUDA 和 ROCm 上的 vLLM;EXL2 是 ExLlamaV2 —— 仅限 CUDA,而且已经归档,适合本机使用而不适合提供服务。

常见问题

ERNIE 4.5 21B-A3B 需要多少显存?
在 Q4_K_M、4K 上下文、batch 1 下约 14.2 GB,到 32K 时约 15.9 GB。这个数字是权重加 KV 缓存再加 10% 激活缓冲,由模型架构计算得出,不是在显卡上实测的。
ERNIE 4.5 21B-A3B 能在 20GB 显卡上跑吗?
可以 —— 在 Q4_K_M、4K 上下文下约需 14.2 GB,在 Radeon RX 7900 XT 上还剩 5.8 GB。这是本索引中能宽裕跑它的最小显卡;78 张中有 34 张可以。
ERNIE 4.5 21B-A3B 该用哪个量化档位?
该模型没有公开的质量对比数据,所以按体积来选:Q4_K_M 是多数人使用的档位,bits-per-weight 越高越忠实。索引中的 2 个档位是 Q4_K_M、Q8_0。 注意这是 MoE 模型 —— 尽管每个 token 只激活一部分参数,全部参数仍需驻留显存,因此显存开销按总参数量算,而不是激活参数量。

这个模型能跑在哪

按 Q4_K_M、4K 上下文估算,显存从小到大排列。「从容」指估算占用不超过显存的 88%。

提供格式
GGUF

本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-11-17 RSS → /zh/feed.xml