GLM-4.5-Air

106B MoE

Zhipu GLM-4.5

智谱 Agent/推理向 MoE（总 106B / 激活 12B）。Q4 约 64GB —— 96GB+ 统一内存 Mac 或双 48GB 卡最合适。同级别中工具调用能力突出。

⬇ 311.7K HF 下载量♥ 630 点赞zai-org/GLM-4.5-Air· 数据更新于 8/14/2026

专业 GPUMac / 苹果芯片

131K

最大上下文

量化变体

GGUF Q4_K_M

最佳质量

97.6%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	64.3 GB	2.4%	18 tok/s	社区	计算 HF
GGUF	Q3_K_M	3.87	51.3 GB	5.1%	21 tok/s	估算	计算 HF
GGUF	Q2_K	2.63	34.8 GB	12.0%	26 tok/s	估算	计算 HF

OpenAI GPT-OSS

GPT-OSS 大杯（总 117B / 激活 5.1B）。原生 MXFP4 权重约 61GB —— 单张 80GB 卡或 128GB 统一内存 Mac 可跑。24GB 消费卡部分卸载虽慢但可用。

Databricks

MoE 旗舰（激活约 36B），需多卡；大规模代码与推理能力强。

Alibaba Qwen3

Qwen3 旗舰 MoE（激活 22B / 总 235B）。Q4_K_M 约 142GB，对标 DeepSeek-R1 级模型。

DeepSeek

DeepSeek-V3 前沿 MoE（激活约 37B / 总 671B）。MLA + FP8；Q4 需多节点 GPU 集群。

针对本模型及同类硬件的部署指南。