跳转到主要内容

量化模型库

开源量化模型结构化索引 — 不托管文件,只提供精准元数据 · 索引共 151 个模型

数据更新于 2026-11-22

151 个模型77 个系列4 种量化格式<4B · 224–10B · 3710–20B · 1920–50B · 4450B+ · 29

按 GPU 一键筛选(4K 上下文) · 含临界可用

参数量

用途分类

目标硬件

量化格式

输入类型

许可协议

依据各模型自己的许可协议判定。有条件 = 设有用户数或营收门槛、需要登记,或以服务形式对外提供需另行取得许可;不可商用 = 仅限研究用途。

时效

131 / 151 个模型

正在显示全部 131 个模型

Llama 3.1 8B Instruct

8B
Llama 3.1

Meta Llama 3.1

Meta 旗舰 8B 模型,128K 上下文,端侧部署最优选择之一。

Q4_K_M · RTX 4090 · batch 1

5.6 GB

显存

128K

上下文

148

tok/s · 4090

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

Llama 3.1 70B Instruct

70B
Llama 3.1

Meta Llama 3.1

Meta 前沿 70B 模型,需要 40GB+ 显存,适合双 3090 或 M2 Ultra。

Q4_K_M · RTX 4090 · batch 1

46.1 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

Llama 3.2 3B Instruct

3B
Llama 3.2

Meta Llama 3.2

小巧而实用,4GB 显存或 8GB 内存即可运行,甚至可在手机端通过 llama.cpp 运行。

Q4_K_M · RTX 4090 · batch 1

2.5 GB

显存

128K

上下文

320

tok/s · 4090估算

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Qwen2.5 7B Instruct

7B
Apache 2.0

Alibaba Qwen2.5

阿里 Qwen 系列 7B,性能远超同级,代码能力尤其突出。

Q4_K_M · RTX 4090 · batch 1

5.1 GB

显存

128K

上下文

155

tok/s · 4090

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

Qwen2.5 14B Instruct

14B
Apache 2.0

Alibaba Qwen2.5

性能与资源消耗的最佳平衡点,Q4 量化仅需 16GB 显存。

Q4_K_M · RTX 4090 · batch 1

10.1 GB

显存

128K

上下文

98

tok/s · 4090估算

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

Qwen2.5 32B Instruct

32B
Apache 2.0

Alibaba Qwen2.5

24GB 显存单卡可运行 Q4_K_S,推理能力接近 GPT-4,性价比极高。

Q4_K_M · RTX 4090 · batch 1

21.7 GB

显存

128K

上下文

44

tok/s · 4090

可用格式

GGUFEXL2
GGUF Q4_K_M
Hugging Face

DeepSeek-Coder-V2-Lite Instruct

16B-A2.4B
DeepSeek

DeepSeek

MoE 架构代码模型,激活参数约 2.4B,代码能力卓越。注意力采用 MLA:用当前 llama.cpp 转换的 GGUF(含 attn_k_b / attn_v_b 张量)在 32K 下约缓存 1 GB,本站估算即按此计算;只有单个 attn_kv_b 张量的旧版转换会缓存完整的 K 和 V,32K 下约 8.4 GB。

Q4_K_M · RTX 4090 · batch 1

10.1 GB

显存

160K

上下文

145

tok/s · 4090估算

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Phi-3.5 Mini Instruct

3.8B
MIT

Microsoft Phi

Microsoft 的小巧精悍之作,端侧部署最佳 4B 模型之一。

Q4_K_M · RTX 4090 · batch 1

4.1 GB

显存

128K

上下文

298

tok/s · 4090估算

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Mistral Nemo 12B Instruct

12B
Apache 2.0

Mistral AI

Mistral 与 NVIDIA 合作推出,128K 上下文,多语言能力出色。

Q4_K_M · RTX 4090 · batch 1

8.4 GB

显存

128K

上下文

112

tok/s · 4090估算

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Qwen2.5 72B Instruct

72B
Qwen

Alibaba Qwen2.5

Qwen2.5 旗舰模型,需双 4090 或 A100 80G,大规模推理能力卓越。

Q4_K_M · RTX 4090 · batch 1

47.4 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

DeepSeek-R1-Distill-Qwen-14B

14B
MIT

DeepSeek

R1 推理能力蒸馏至 14B,社区热度极高,思维链能力出色。

Q4_K_M · RTX 4090 · batch 1

10.1 GB

显存

128K

上下文

95

tok/s · 4090

可用格式

GGUFEXL2AWQ
GGUF Q4_K_M
Hugging Face

Llama 3.3 70B Instruct

70B
Llama 3.3

Meta Llama 3.3

Meta 最新 70B,多语言能力提升,可无缝替换 Llama 3.1 70B。

Q4_K_M · RTX 4090 · batch 1

46.1 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Mistral Small 24B Instruct

24B
Mistral Research

Mistral AI

Mistral 高效 24B 模型,多语言能力强,Q4 量化可装入 24GB 显存。

Q4_K_M · RTX 4090 · batch 1

15.9 GB

显存

32K

上下文

62

tok/s · 4090估算

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

Qwen2.5-Coder 32B Instruct

32B
Apache 2.0

Alibaba Qwen2.5

顶级开源代码模型,HumanEval 在 32B 规模可与 GPT-4o 竞争。

Q4_K_M · RTX 4090 · batch 1

21.7 GB

显存

128K

上下文

44

tok/s · 4090估算

可用格式

GGUFEXL2AWQ
GGUF Q4_K_M
Hugging Face

Qwen2.5-Coder 7B Instruct

7B
Apache 2.0

Alibaba Qwen2.5

最佳 7B 代码模型,适合 8–16GB 显存的本地开发助手。

Q4_K_M · RTX 4090 · batch 1

5.1 GB

显存

128K

上下文

158

tok/s · 4090估算

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

Qwen2.5 3B Instruct

3B
Qwen Research

Alibaba Qwen2.5

Qwen2.5 迷你版,适合边缘设备,4GB 显存或树莓派级别硬件即可运行。

Q4_K_M · RTX 4090 · batch 1

2.1 GB

显存

32K

上下文

340

tok/s · 4090估算

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Llama 3.2 1B Instruct

1B
Llama 3.2

Meta Llama 3.2

超轻量 Llama,适合移动端和嵌入式,Q4 量化仅需不到 2GB 显存。

Q4_K_M · RTX 4090 · batch 1

0.9 GB

显存

128K

上下文

520

tok/s · 4090估算

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

DeepSeek-R1-Distill-Llama-70B

70B
MIT

DeepSeek

R1 推理能力注入 Llama 70B 架构,双卡部署的顶级开源推理模型。

Q4_K_M · RTX 4090 · batch 1

46.1 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Codestral 22B

22B
Mistral Non-Prod

Mistral AI

Mistral 专用代码模型,支持 80+ 编程语言,支持 Fill-in-the-Middle。

Q4_K_M · RTX 4090 · batch 1

15.0 GB

显存

32K

上下文

58

tok/s · 4090估算

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Llama 3.2 11B Vision Instruct

11B
Llama 3.2

Meta Llama 3.2

多模态 Llama,支持图像理解。视觉编码器额外增加约 2GB 显存开销。

Q4_K_M · RTX 4090 · batch 1

7.7 GB

显存

128K

上下文

88

tok/s · 4090估算

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Nous Hermes 3 Llama 3.1 8B

8B
Llama 3

NousResearch

基于 Llama 3.1 8B 微调,角色扮演和指令遵循能力增强。

Q4_K_M · RTX 4090 · batch 1

5.6 GB

显存

128K

上下文

148

tok/s · 4090估算

可用格式

GGUFEXL2
GGUF Q4_K_M
Hugging Face

Granite 3.1 8B Instruct

8B
Apache 2.0

IBM Granite

IBM 企业级 8B 模型,RAG 和工具调用能力强,Apache 2.0 许可。

Q4_K_M · RTX 4090 · batch 1

5.9 GB

显存

128K

上下文

142

tok/s · 4090估算

可用格式

GGUFGPTQ
GGUF Q4_K_M
Hugging Face

Qwen2.5 0.5B Instruct

0.5B
Apache 2.0

Alibaba Qwen2.5

最小 Qwen2.5,适合树莓派、手机端和超低延迟演示。

Q4_K_M · RTX 4090 · batch 1

0.4 GB

显存

32K

上下文

620

tok/s · 4090估算

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Qwen2.5 1.5B Instruct

1.5B
Apache 2.0

Alibaba Qwen2.5

支持 32K 上下文的微型 Qwen,摘要和对话能力出人意料。

Q4_K_M · RTX 4090 · batch 1

1.1 GB

显存

32K

上下文

480

tok/s · 4090估算

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Phi-3 Medium 14B Instruct

14B
MIT

Microsoft Phi

Microsoft 中型 Phi-3,16GB 显卡上质量/显存比极佳。

Q4_K_M · RTX 4090 · batch 1

9.7 GB

显存

128K

上下文

102

tok/s · 4090估算

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Phi-4 Mini Instruct

3.8B
MIT

Microsoft Phi

最新 Phi mini,数学和代码能力提升,4B 级性能强者。

Q4_K_M · RTX 4090 · batch 1

3.0 GB

显存

128K

上下文

305

tok/s · 4090估算

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

DeepSeek-V2-Lite Chat

16B-A2.4B
DeepSeek

DeepSeek

MoE 通用模型(激活约 2.4B),长上下文,多语言对话能力强。注意力采用 MLA:用当前 llama.cpp 转换的 GGUF(含 attn_k_b / attn_v_b 张量)在 32K 下约缓存 1 GB,本站估算即按此计算;只有单个 attn_kv_b 张量的旧版转换会缓存完整的 K 和 V,32K 下约 8.4 GB。

Q4_K_M · RTX 4090 · batch 1

10.1 GB

显存

160K

上下文

142

tok/s · 4090估算

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

DeepSeek-R1-Distill-Qwen-7B

7B
MIT

DeepSeek

7B 体量的 R1 推理能力,8–12GB 显存思维链实验性价比最高。

Q4_K_M · RTX 4090 · batch 1

5.1 GB

显存

128K

上下文

152

tok/s · 4090估算

可用格式

GGUFEXL2
GGUF Q4_K_M
Hugging Face

DeepSeek-R1-Distill-Qwen-32B

32B
MIT

DeepSeek

R1 蒸馏至 32B,单卡 24GB(Q3/Q4)即可接近前沿推理能力。

Q4_K_M · RTX 4090 · batch 1

21.7 GB

显存

128K

上下文

42

tok/s · 4090估算

可用格式

GGUFEXL2
GGUF Q4_K_M
Hugging Face

Llama 3.2 90B Vision Instruct

90B
Llama 3.2

Meta Llama 3.2

旗舰多模态 Llama,需双 4090 或 A100;视觉模块额外约 3GB 显存。

Q4_K_M · RTX 4090 · batch 1

57.5 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Falcon 3 10B Instruct

10B
Falcon

TII UAE

TII 最新 Falcon,多语言与代码能力均衡。

Q4_K_M · RTX 4090 · batch 1

7.3 GB

显存

32K

上下文

118

tok/s · 4090估算

可用格式

GGUFGPTQ
GGUF Q4_K_M
Hugging Face

Qwen3 8B Instruct

8B
Apache 2.0

Alibaba Qwen3

最新 Qwen3 稠密 8B,支持思考模式,本地部署比 Qwen2.5 7B 全面升级。

Q4_K_M · RTX 4090 · batch 1

5.8 GB

显存

40K

上下文

142

tok/s · 4090

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

Qwen3 14B Instruct

14B
Apache 2.0

Alibaba Qwen3

Qwen3 14B GGUF 量化版(Q4_K_M 等)显存需求一览,2026 Qwen 系列中推理能力与显存占用的最佳平衡点。

Q4_K_M · RTX 4090 · batch 1

10.0 GB

显存

40K

上下文

88

tok/s · 4090

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

Gemma 3 4B IT

4B
Gemma

Google Gemma 3

Google Gemma 3 多模态 4B,128K 上下文,8GB 显卡可跑图文理解。

Q4_K_M · RTX 4090 · batch 1

3.0 GB

显存

128K

上下文

175

tok/s · 4090估算

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Gemma 3 12B IT

12B
Gemma

Google Gemma 3

中型 Gemma 3 视觉模型,Q4 可装入 16GB,多语言对话表现优秀。

Q4_K_M · RTX 4090 · batch 1

8.5 GB

显存

128K

上下文

105

tok/s · 4090估算

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Llama 4 Scout 17B (16E)

109B MoE
Llama 4

Meta Llama 4

Meta Llama 4 Scout MoE(激活 17B / 总 109B),多模态,Q4_K_M 约需 68GB 显存。

Q4_K_M · RTX 4090 · batch 1

69.9 GB

显存

10M

上下文

—

tok/s · 4090

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Llama 4 Maverick 17B (128E)

400B MoE
Llama 4

Meta Llama 4

Llama 4 Maverick 旗舰 MoE(激活 17B / 总 400B),需多卡或 H100 集群。

Q4_K_M · RTX 4090 · batch 1

254.2 GB

显存

1M

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Llama 3.1 405B Instruct

405B
Llama 3.1

Meta Llama 3.1

Meta 前沿稠密 405B,Q4 约需 230GB+ 显存;双 H100 80G 或 8 卡消费级方案。

Q4_K_M · RTX 4090 · batch 1

258.7 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Qwen3 32B Instruct

32B
Apache 2.0

Alibaba Qwen3

Qwen3 稠密 32B — Qwen2.5-32B 继任者,推理与思考模式全面升级。

Q4_K_M · RTX 4090 · batch 1

21.9 GB

显存

40K

上下文

42

tok/s · 4090

可用格式

GGUFEXL2AWQ
GGUF Q4_K_M
Hugging Face

Qwen3 30B-A3B Instruct

30B-A3B
Apache 2.0

Alibaba Qwen3

Qwen3 MoE,仅 3B 激活参数。Q4 约 19GB,16GB 显卡上超越 QwQ-32B。

Q4_K_M · RTX 4090 · batch 1

19.7 GB

显存

40K

上下文

95

tok/s · 4090

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Qwen3 235B-A22B Instruct

235B-A22B
Apache 2.0

Alibaba Qwen3

Qwen3 旗舰 MoE(激活 22B / 总 235B)。Q4_K_M 约 142GB,对标 DeepSeek-R1 级模型。

Q4_K_M · RTX 4090 · batch 1

149.7 GB

显存

40K

上下文

—

tok/s · 4090

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

DeepSeek-V3

671B MoE
DeepSeek

DeepSeek

DeepSeek-V3 前沿 MoE(激活约 37B / 总 671B)。MLA + FP8;Q4 需多节点 GPU 集群。MLA 缓存:用当前 llama.cpp 转换的 GGUF(含 attn_k_b / attn_v_b)在 32K 下约 2 GB,本站估算即按此计算;只有单个 attn_kv_b 张量的旧版转换会缓存完整的 K 和 V,32K 下约 150 GB。

Q4_K_M · RTX 4090 · batch 1

425.4 GB

显存

160K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

DeepSeek-R1

671B MoE
MIT

DeepSeek

基于 V3 MoE 的 DeepSeek-R1 推理模型。前沿级思维链 — 本地 GPU 请用蒸馏版。MLA 缓存:用当前 llama.cpp 转换的 GGUF(含 attn_k_b / attn_v_b)在 32K 下约 2 GB,本站估算即按此计算;只有单个 attn_kv_b 张量的旧版转换会缓存完整的 K 和 V,32K 下约 150 GB。

Q4_K_M · RTX 4090 · batch 1

425.4 GB

显存

160K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Qwen3 4B Instruct

4B
Apache 2.0

Alibaba Qwen3

最小 Qwen3 稠密模型,支持思考模式。Q4 约 3.2GB,适合 8GB 显卡与边缘设备。

Q4_K_M · RTX 4090 · batch 1

3.1 GB

显存

32K

上下文

168

tok/s · 4090

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

Qwen3-Coder 30B-A3B Instruct

30B-A3B
Apache 2.0

Alibaba Qwen3

Agentic 代码 MoE,3.3B 激活参数,原生 256K 上下文。16–24GB 显卡上最强开源代码模型之一。

Q4_K_M · RTX 4090 · batch 1

19.8 GB

显存

256K

上下文

92

tok/s · 4090

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Mistral Large 3 675B Instruct

675B MoE
Apache 2.0

Mistral AI

Mistral 3 旗舰 MoE(激活 41B / 总 675B),含视觉编码器。FP8 需 8×H200;GGUF 量化仅供研究集群。估算假设使用当前 llama.cpp 的压缩 MLA:每层每个 token 缓存 512 个潜在值加 64 个旋转位置值,不另存 V 缓存。使用未拆分 KV 张量的旧版 GGUF 转换可能占用多得多的内存;尚未对选定文件实测缓存分配。

Q4_K_M · RTX 4090 · batch 1

427.9 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

GLM-4-9B-Chat

9B
GLM-4

Zhipu GLM-4

智谱 GLM-4 开源 9B,128K 上下文,支持工具调用,中英双语表现突出。

Q4_K_M · RTX 4090 · batch 1

5.9 GB

显存

128K

上下文

135

tok/s · 4090估算

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Gemma 3 27B IT

27B
Gemma

Google Gemma 3

Gemma 3 大杯指令版,长上下文 + 多模态。Q4_K_M 在 4K 下约需 18.3 GB,24 GB 显卡可以从容运行。视觉编码器是另外一个 0.9 GB 的文件。

Q4_K_M · RTX 4090 · batch 1

18.3 GB

显存

128K

上下文

48

tok/s · 4090社区

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

DeepSeek-R1-Distill-Llama-8B

8B
MIT

DeepSeek

R1 推理蒸馏到 Llama 3.1 8B。8–12GB 显卡上最佳思维链之一,社区 GGUF 极丰富。

Q4_K_M · RTX 4090 · batch 1

5.6 GB

显存

128K

上下文

145

tok/s · 4090社区

可用格式

GGUFEXL2AWQ
GGUF Q4_K_M
Hugging Face

Phi-4 14B

14B
MIT

Microsoft Phi

微软 Phi-4 稠密 14B,同尺寸推理能力突出。Q4 约 9GB,12GB 卡中等上下文可跑。

Q4_K_M · RTX 4090 · batch 1

10.2 GB

显存

16K

上下文

88

tok/s · 4090社区

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Qwen3 1.7B Instruct

1.7B
Apache 2.0

Alibaba Qwen3

迷你 Qwen3,支持思考模式。Q4 约 1.4GB,适合手机旁路、NUC 与常驻本地 Agent。

Q4_K_M · RTX 4090 · batch 1

1.6 GB

显存

32K

上下文

280

tok/s · 4090社区

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

GPT-OSS 20B

21B MoE
Apache 2.0

OpenAI GPT-OSS

OpenAI 开放权重 MoE(总 21B / 激活 3.6B),原生以 MXFP4 发布 —— 约 12.8GB,16GB 显卡即可跑且无额外精度损失。激活仅 3.6B,CPU 卸载也还能用。

MXFP4 · RTX 4090 · batch 1

12.8 GB

显存

128K

上下文

195

tok/s · 4090社区

可用格式

GGUF
GGUF MXFP4
Hugging Face

GPT-OSS 120B

117B MoE
Apache 2.0

OpenAI GPT-OSS

GPT-OSS 大杯(总 117B / 激活 5.1B)。原生 MXFP4 权重约 61GB —— 单张 80GB 卡或 128GB 统一内存 Mac 可跑。24GB 消费卡部分卸载虽慢但可用。

MXFP4 · RTX 4090 · batch 1

66.4 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF MXFP4
Hugging Face

GLM-4.5-Air

106B MoE
MIT

Zhipu GLM-4.5

智谱 Agent/推理向 MoE(总 106B / 激活 12B)。Q4 约 64GB —— 96GB+ 统一内存 Mac 或双 48GB 卡最合适。同级别中工具调用能力突出。

Q4_K_M · RTX 4090 · batch 1

67.9 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Devstral Small 1.1 24B

24B
Apache 2.0

Mistral Devstral

Mistral 与 All Hands 合作的 Agent 编码模型,基于 Mistral Small 3.1。面向仓库级工具调用而非单文件补全。Q4_K_M 在 4K 下约需 15.7 GB,在 16 GB 显卡上偏紧,20 GB 起就宽裕。

Q4_K_M · RTX 4090 · batch 1

15.7 GB

显存

128K

上下文

62

tok/s · 4090社区

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

Qwen3-VL 8B Instruct

8B
Apache 2.0

Alibaba Qwen3-VL

当代视觉语言模型,Q4 约 5.9GB,单张 8–12GB 卡仍可跑。没有 24GB 显卡的人做多模态的现实选择 —— 注意视觉编码器会额外占用显存,下方 KV cache 计算并未包含这部分。

Q4_K_M · RTX 4090 · batch 1

6.2 GB

显存

256K

上下文

140

tok/s · 4090社区

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Qwen3-VL 30B-A3B Instruct

30B-A3B
Apache 2.0

Alibaba Qwen3-VL

多模态 MoE,激活参数仅约 3B,因此在苹果统一内存上依然跟手,CPU 卸载的表现也远好于稠密 30B。Q4_K_M 在 4K 下约需 19.9 GB,24 GB 显卡可以从容运行;Q3_K_M 降到 15.1 GB。视觉编码器是另外一个 1.1 GB 的文件。

Q4_K_M · RTX 4090 · batch 1

19.9 GB

显存

256K

上下文

95

tok/s · 4090社区

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Magistral Small 1.2 24B

24B
Apache 2.0

Mistral Magistral

Mistral 基于 Mistral Small 3.2 的推理模型,思维链包在 [THINK] 标签内。Q4_K_M 在 4K 下约需 15.7 GB,在 16 GB 显卡上偏紧,20 GB 起就宽裕 —— 让显式思维链落到比多数教程默认的 70B 级推理模型低一档的硬件上。

Q4_K_M · RTX 4090 · batch 1

15.7 GB

显存

128K

上下文

60

tok/s · 4090社区

可用格式

GGUFAWQEXL2
GGUF Q4_K_M
Hugging Face

Seed-OSS 36B Instruct

36B
Apache 2.0

ByteDance Seed

稠密 36B,原生 512K 上下文。Q4_K_M 文件是 21.8 GB,加上缓存和运行缓冲,4K 下约需 23.9 GB:在 24 GB 显卡上偏紧,那里宽裕的选择是 Q3_K_M(19.5 GB),或者用 2×16GB 拆分。AWQ 版本是 21.1 GB,并不是名字暗示的 4 比特体积。真正的开销是上下文:512K 的 KV cache 单独就约 128GB,所以要先规划上下文再考虑权重。

Q4_K_M · RTX 4090 · batch 1

23.9 GB

显存

512K

上下文

42

tok/s · 4090社区

可用格式

GGUFAWQ
GGUF Q4_K_M
Hugging Face

Ministral 3 8B Instruct

8B
Apache 2.0

Mistral Ministral 3

Mistral 官方直接发布 GGUF,分 3B / 8B / 14B 与 Instruct、Reasoning 两种变体;其中 8B 在 Q4 下能装进 8GB 显卡并留出可用的上下文余量。34 层全部是标准全注意力,因此下方的显存估算与计算器的假设完全一致。各档位的质量损失官方未公布。

Q4_K_M · RTX 4090 · batch 1

6.0 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Qwen3.8 27B

27B
Apache 2.0

Alibaba Qwen3.8

混合注意力:64 层中只有 16 层保留 KV 缓存,所以这个 27B 模型在 262K 上下文下的缓存约 16GB,而不是 64GB。按常规架构计算会把缓存高估四倍 —— 这里的估算只计入那 16 层,并与 8K、32K、262K 三个已公开实测值吻合。各档位的质量损失官方未公布。

Q4_K_M · RTX 4090 · batch 1

18.5 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

GLM-4.7-Flash

30B-A3B
MIT

Zhipu GLM-4.7

智谱 GLM-4.7 系列的轻量款:总参数 30B,每 token 激活约 3B,MIT 许可。注意力采用 MLA,每层每个 token 只缓存一个 576 维的压缩向量,而不是完整的 K 和 V——所以 32K 上下文下缓存不到 2 GB,常规 47 层模型需要的是它的好几倍。llama.cpp 按 DeepSeek-2 类模型运行它。下方体积按 bartowski 的 GGUF 文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

19.5 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Kimi Linear 48B-A3B Instruct

48B-A3B
MIT

Moonshot Kimi Linear

月之暗面的混合线性注意力模型:总参数 49.1B(名称里取整为 48B),激活约 3B,上下文窗口 100 万 token。27 层中只有 7 层保留会增长的缓存,而且存的是 MLA 压缩向量,所以即使用满 100 万 token,缓存也只要约 8 GB——决定它能在什么硬件上跑的是权重,不是上下文。Q4 下,48 GB 及以上的 Mac 可以从容运行;32 GB 显卡只能勉强装下、几乎不剩余量。下方体积使用计算器通用的比特率:未能核对到 GGUF 文件大小,各档位的质量损失也未公布。

Q4_K_M · RTX 4090 · batch 1

31.1 GB

显存

1M

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Gemma 4 26B-A4B IT

26B-A4B
Apache 2.0

Google Gemma 4

Google Gemma 4 的混合专家模型:文本部分约 25B 参数,每 token 激活约 4B,256K 上下文,支持图像输入。30 层中只有 5 层的缓存随上下文增长,而且这些层用的是更少、更宽的注意力头,所以缓存很小——32K 下约 0.9 GB,用满 256K 也只要约 5.3 GB。Q4_K_M 下 32K 上下文约 18.8 GB:24 GB 显卡可以从容运行,甚至能加载完整窗口(偏紧,约 23.6 GB)。16 GB 显卡装不下,光 Q4_K_M 文件就有 17.0 GB。视觉编码器是另外一个 1.2 GB 的文件。体积按 bartowski 的 GGUF 文件计算,其 Q4_K_M 折合每参数 5.40 比特,明显高于通用的 4 比特档;Unsloth 的 UD-Q4_K_M 是另一个文件,小 0.09 GB。各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

18.2 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Gemma 4 31B IT

31B
Apache 2.0

Google Gemma 4

Google Gemma 4 的稠密旗舰:约 31B 参数,256K 上下文,支持图像输入。60 层中只有 10 层缓存完整上下文,而且这些层只用 4 个宽 KV 头,所以 128K 上下文只增加约 11 GB 缓存,常规的 60 层结构则要约 120 GB。Q4_K_M 在 4K 下约需 22.1 GB,在 24 GB 显卡上偏紧;Q3_K_M 在 4K 下约 18.3 GB。32 GB 显卡跑 Q4_K_M 的 32K 很从容。Google 还发布了官方的量化感知训练(QAT)Q4_0 版本,单个 17.7 GB 文件:4K 下约 20.1 GB,24 GB 显卡宽裕地跑到 16K。它的视觉编码器是另外一个 1.2 GB 的文件,加载后在 24 GB 上连 4K 都偏紧。其余档位按 bartowski 的 GGUF 文件计算,各档位的质量损失未公布。该仓库另有两个用于推测解码的 MTP 草稿头文件(Q4_0 为 349 MB,Q8_0 为 515 MB),它们不是模型本体,不计入这里的显存。

Q4_K_M · RTX 4090 · batch 1

22.1 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Gemma 4 E4B IT

E4B
Apache 2.0

Google Gemma 4

Google 面向端侧的 Gemma 4:实际参与计算的约 4.7B 参数,外加一张 2.8B 的逐层嵌入表,128K 上下文,支持图像和音频输入。42 层中只有 4 层的缓存随上下文增长,所以用满 128K 也只要约 2.0 GB 缓存。Q4_K_M 在 4K 上下文约需 5.3 GB,8 GB 显卡宽裕;128K 约需 7.5 GB,8 GB 显卡偏紧。8 GB 的 Mac 只能给 GPU 约 6 GB,所以 4K 下在 8 GB Mac 上就偏紧。这里的体积按整个模型都放进 GPU 内存计算,也就是 Mac 或整模型上 GPU 时的占用;llama.cpp 会把嵌入表留在系统内存,所以在独立显卡上实际显存占用比这里低。体积按 unsloth 发布的文件计算(Q4_K_M 5.0 GB,Q8_0 8.2 GB);其他发布者的 Q4_K_M 文件最多大 0.4 GB。图像和音频编码器是另外一个 1.0 GB 的文件。

Q4_K_M · RTX 4090 · batch 1

5.3 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Gemma 4 E2B IT

E2B
Apache 2.0

Google Gemma 4

最小的 Gemma 4:实际参与计算的约 2.3B 参数,外加一张 2.3B 的逐层嵌入表,128K 上下文,支持图像和音频输入。它的缓存几乎不增长——35 层中只有 3 层跟踪完整上下文,128K 下约 0.8 GB。Q4 下 4K 上下文约 3.0 GB,用满窗口约 3.8 GB——本索引中任何一张卡、以及 8 GB 的 Mac 都能从容运行。体积按整个模型都放进 GPU 内存计算;llama.cpp 会把嵌入表留在系统内存,所以在独立显卡上,Q4 实际显存占用比这里少约 1.3 GB。体积使用计算器通用比特率——未能核对到 GGUF 文件大小。

Q4_K_M · RTX 4090 · batch 1

3.0 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

SmolLM3 3B

3B
Apache 2.0

Hugging Face SmolLM

Hugging Face 完全开源的 3B 模型,训练数据和训练方法随权重一起公开。它带一个可开关的推理模式,实际训练到的上下文窗口是 64K,128K 要靠 YaRN 外推。只有 4 个 KV 头,缓存很小,所以长窗口也负担得起:Q4_K_M 下短上下文能放进 4 GB 显卡,用满训练窗口也能放进 8 GB 显卡。这也让它成为本站少数在纯 CPU 机器上也现实可用的模型之一。下方体积使用计算器的通用比特率,因为未能核对到 GGUF 文件大小,各档位的质量损失也未公布。

Q4_K_M · RTX 4090 · batch 1

2.3 GB

显存

64K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

ERNIE 4.5 21B-A3B

21B-A3B
Apache 2.0

Baidu ERNIE 4.5

百度开源的混合专家模型:总参数约 21.8B,每个 token 约激活 3B,由 64 个路由专家(每个 token 选 6 个)加 2 个共享专家组成。总参数决定显存,激活参数决定速度,所以它需要 20B 级模型的显存,每个 token 读取的数据量却和 3B 模型差不多。Q4_K_M 在 4K 上下文下约需 14.2 GB,在 16 GB 显卡上刚好越过“宽裕”线(能加载,余量很小);24 GB 显卡,或 24 GB 的 Mac(靠 GPU 可用的那部分统一内存)才有真正的上下文余量。体积按 PT(指令版)检查点已发布的 GGUF 文件计算;bartowski 的 Q4_K_M 是另一个文件,比这里用的 Unsloth 版大 0.17 GB。各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

14.2 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

OLMo 3 7B Instruct

7B
Apache 2.0

Allen AI OLMo

Allen AI 完全开源的 7B 模型,训练数据、代码和中间检查点一并公开。上一代只有 4K 上下文,OLMo 3 达到 64K(由 8K 基础通过 YaRN 扩展而来)。每四层中有三层使用 4K 滑动窗口,这正是长上下文负担得起的原因。不过它仍是完整的多头注意力,没有共享 KV 头,所以长上下文的代价比大多数 7B–8B 模型高。Q4_K_M 在 4K 上下文下约需 6.8 GB,32K 下约 10.9 GB;如果没有滑动窗口,32K 需要约 22 GB。下方体积使用计算器的通用比特率,因为未能核对到 GGUF 文件大小,各档位的质量损失也未公布。

Q4_K_M · RTX 4090 · batch 1

6.8 GB

显存

64K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Muse Glimmer 30B

30B
新Apache 2.0

Meta Muse

Meta 自 Llama 4 以来第一个开放权重模型,8 月以 Apache 2.0 发布,目标就是单卡运行。它是稠密模型:28B 的文本解码器,通过单独的视觉编码器读取图像,输出文本。每四层中有三层使用 2K 滑动窗口,其余层只有 2 个 KV 头,所以长上下文格外便宜。Q4_K_M 在 4K 上下文下约需 17.7 GB,用满 128K 窗口也只要 19.4 GB,两种情况在 24 GB 显卡上都很宽裕。Q5_K_M 在 24 GB 上偏紧,Q8_0 需要 32 GB 显卡。视觉编码器(GGUF mmproj 文件约 1.4 GB)和 Meta 可选的投机解码草稿模型会额外占用显存,不含在上述数字内。体积按已公布的 GGUF 文件大小计算,Q4_K_M 一行是 Meta 官方发布的版本。基准成绩是 Meta 自己报的,各档位的质量损失也未公布。

Q4_K_M · RTX 4090 · batch 1

17.7 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Qwen3.8-Flash-Next

125B-A6B
新Qwen Community

Qwen3.8

Qwen 下一代架构的预览版,8 月发布:125B 的混合专家模型,每个 token 约激活 6B 参数,另带一张 51B 的 n-gram 查找表。llama.cpp 从内存或磁盘按需读取这张表,它从不占用显存,但要占磁盘空间,而且打包在 GGUF 文件里,所以文件比下面的数字大得多。48 层中只有 12 层保留会增长的 KV 缓存,即使用满 256K 窗口也只多约 7.5 GB。Q4_K_M 在 4K 上下文下约需 79 GB,128 GB 的 Mac 或 DGX Spark 都能从容运行;256K 下约需 87 GB,在 DGX Spark 上仍然宽裕,在 Mac 上偏紧,因为 macOS 只让 GPU 使用约四分之三的内存。单张 24 或 32 GB 显卡只有把专家卸载到系统内存才能跑。llama.cpp 以 `qwen4exp` 架构支持它。下方体积使用计算器的通用比特率(没有哪个文件大小能把模型本身和查找表分开),各档位的质量损失也未公布。

Q4_K_M · RTX 4090 · batch 1

79.3 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Qwen3.6 35B-A3B

35B-A3B
新Apache 2.0

Alibaba Qwen3.6

今年被推荐最多的 24 GB 显卡模型之一:总参数 35.5B,每个 token 约激活 3B,每个 token 读取的数据量和 3B 模型差不多。40 层中只有 10 层保留会增长的 KV 缓存,所以上下文很便宜:Q4_K_M 在 4K 下约需 23.4 GB,32K 下约 24.0 GB。按本站的规则,这在 24 GB 显卡上属于「勉强」而不是「宽裕」,因为本站计入了多数指南忽略的运行缓冲;32 GB 显卡,或 48 GB 的 Mac(靠 GPU 可用的那部分统一内存)才有真正的余量。它通过单独的视觉编码器读取图像。体积按 bartowski 的 GGUF 文件计算;Unsloth 的 UD-Q4_K_M 是另一个文件,小 0.15 GB。各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

23.4 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Qwen3.6 27B

27B
新Apache 2.0

Alibaba Qwen3.6

Qwen3.6 这一代的稠密模型,也是很受欢迎的本地写代码模型。它和更新的 Qwen3.8 27B 结构相同:64 层中只有 16 层保留会增长的 KV 缓存。Q4_K_M 在 4K 上下文下约需 19.1 GB,32K 下约 21.0 GB,两种情况在 24 GB 显卡上都很宽裕。Q5_K_M 在 24 GB 上偏紧;16 GB 显卡在这里列出的任何档位都装不下。体积按 bartowski 发布的 GGUF 文件计算,Unsloth 的同档位文件约小 1 GB。各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

19.1 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Qwen3.5 9B

9B
新Apache 2.0

Alibaba Qwen3.5

Qwen 最新的小尺寸模型,8 到 16 GB 显卡的常见选择。32 层中只有 8 层保留会增长的 KV 缓存,所以在普通硬件上也能用长上下文。Q4_K_M 在 4K 下约需 6.6 GB,16K 下约 7.0 GB,8 GB 显卡就能从容运行;32K(7.5 GB)在 8 GB 卡上偏紧,10 GB 起才宽裕;用满 256K 窗口约需 15.2 GB。Q8_0 约需 10.4 GB,12 GB 起就很宽裕。Qwen3.5 的小尺寸默认关闭推理模式;它通过单独的视觉编码器读取图像。体积按已公布的 GGUF 文件大小计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

6.6 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Qwen3.5 4B

4B
新Apache 2.0

Alibaba Qwen3.5

Qwen3.5 的 4B 尺寸,适合 4 到 8 GB 显卡、基础款 Mac 和纯 CPU 机器。32 层中只有 8 层保留会增长的 KV 缓存。Q4_K_M 在 4K 上下文下约需 3.3 GB,32K 下约 4.3 GB,所以 6 GB 显卡就够长对话使用;用满 256K 窗口约需 12 GB。Qwen3.5 的小尺寸默认关闭推理模式;它通过单独的视觉编码器读取图像。体积按已公布的 GGUF 文件大小计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

3.3 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Qwen3.5 2B

2B
新Apache 2.0

Alibaba Qwen3.5

Qwen3.5 的 2B 尺寸,几乎什么硬件都能跑:老显卡、基础款 Mac、迷你主机和纯 CPU 服务器。24 层中只有 6 层保留会增长的 KV 缓存,每层只有 2 个 KV 头。Q4_K_M 在 4K 上下文下约需 1.5 GB,32K 下约 1.9 GB,用满 256K 窗口约 4.8 GB;即使 Q8_0,4K 下也只要约 2.2 GB。Qwen3.5 的小尺寸默认关闭推理模式。体积按已公布的 GGUF 文件大小计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

1.5 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Qwen3.5 0.8B

0.8B
新Apache 2.0

Alibaba Qwen3.5

最小的 Qwen3.5,适合手机、单板电脑,或者在大模型旁边当快速草稿/路由模型。Q4_K_M 在 4K 上下文下约需 0.6 GB,32K 下不到 1 GB。用满 256K 窗口约需 3.8 GB,几乎全是缓存,所以在这里超长上下文比权重本身更占内存。下方体积使用计算器的通用比特率,因为未能核对到 GGUF 文件大小,各档位的质量损失也未公布。

Q4_K_M · RTX 4090 · batch 1

0.6 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

MiMo-V2.6-Pro

1T-A42B
新MIT

Xiaomi MiMo

小米的开放权重旗舰,今年秋天位列开源模型排行榜前列:约 1.02 万亿参数,每个 token 激活约 42B,MIT 许可。发布的权重本身就是 4 比特(专家层为 MXFP4),GGUF 版本只是重新打包、没有再次量化。在这个档位下 4K 上下文约需 604 GB,超过本索引里任何一台单机:最大的 Mac Studio 给 GPU 的约 384 GB,四张 80 GB 的 H100 合计 320 GB。八张 80 GB 显卡(640 GB)大约是能装下它的最小服务器,按本站规则也只算「勉强」。收录它是为了让计算器能把这一点说清楚。70 层中只有 10 层保留会增长的缓存,所以即使 100 万 token 也只多约 50 GB。llama.cpp 以 `mimo2` 架构运行它,视觉通过单独的编码器加载。体积按已公布的 GGUF 文件计算,各档位的质量损失未公布。

MXFP4 · RTX 4090 · batch 1

603.8 GB

显存

1M

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF MXFP4
Hugging Face

Mellum2.1 12B-A2.5B Thinking

12B-A2.5B
新Apache 2.0

JetBrains Mellum

JetBrains 面向编程智能体和快速子智能体的开源代码模型,10 月以 Apache 2.0 发布。它是 12B 的混合专家模型,每个 token 约激活 2.5B 参数,生成速度大致相当于 3B 模型。Q4_K_M 在 4K 上下文下约需 8.6 GB,用满 128K 窗口也只要 10.5 GB,因为 28 层中只有 7 层保留会增长的缓存。10 GB 或 12 GB 显卡可以从容运行,8 GB 显卡装不下;Q8_0 适合 16 GB 显卡。llama.cpp 以 `mellum` 架构支持它。体积按 JetBrains 官方 GGUF 文件计算;官方公布的是 KL 散度而不是困惑度,所以不显示质量损失。

Q4_K_M · RTX 4090 · batch 1

8.6 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Granite 4.2 8B

8B
新Apache 2.0

IBM Granite

IBM Granite 4.2 系列(3B、8B、30B)中的 8B 稠密推理模型,8 月以 Apache 2.0 发布。默认开启思考,可通过聊天模板切换为不思考或低强度模式。它不是 Granite 4.0 那种混合架构,而是普通 Transformer,llama.cpp 以 `granite` 架构运行,40 层全部保留完整缓存:Q4_K_M 在 4K 上下文下约 6.5 GB,32K 约 11.3 GB,用满 128K 窗口约 27.8 GB。所以短上下文用 8 GB 显卡就够,处理长文档需要 16 GB。体积按 bartowski 的 GGUF 文件计算;IBM 没有公布各量化档位的困惑度,所以不显示质量损失。

Q4_K_M · RTX 4090 · batch 1

6.5 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Granite 4.2 30B

30B
新Apache 2.0

IBM Granite

IBM Granite 4.2 系列中最大的模型,8 月以 Apache 2.0 发布。和 8B 一样是普通的稠密 Transformer,不是 Granite 4.0 的混合架构,64 层全部保留完整缓存,所以上下文并不便宜:Q4_K_M 在 4K 下约需 19.6 GB,32K 约 27.3 GB,用满 128K 窗口约 53.7 GB。24 GB 显卡到 8K 都很宽裕,16K 偏紧;32K 需要 32 GB 显卡,用满窗口需要 80 GB 显卡或 96 GB 的 Mac。Q8_0(4K 下约 33.6 GB)需要 48 GB 显卡或 64 GB 的 Mac。体积按 IBM 官方 GGUF 文件计算;IBM 没有公布各量化档位的困惑度,所以不显示质量损失。

Q4_K_M · RTX 4090 · batch 1

19.6 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Granite 4.2 3B

3B
新Apache 2.0

IBM Granite

IBM Granite 4.2 系列中最小的模型,8 月以 Apache 2.0 发布:3.7B 稠密 Transformer,面向笔记本、小显存显卡和 CPU 服务器。Q4_K_M 在 4K 上下文下约需 2.7 GB,32K 约 5.1 GB,用满 128K 窗口约 13.3 GB,所以 8 GB 显卡到 32K 都很宽裕,64K 偏紧。Q8_0 在 4K 下也只要 4.4 GB,在显卡上几乎没有理由再往下压。体积按 IBM 官方 GGUF 文件计算;IBM 没有公布各量化档位的困惑度,所以不显示质量损失。

Q4_K_M · RTX 4090 · batch 1

2.7 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

LFM2.5 24B-A2B

24B-A2B
新LFM Open

Liquid AI LFM2.5

Liquid AI 在 10 月发布的 LFM2.5 系列中最大的模型:24B 混合专家推理模型,每个 token 约激活 2.45B 参数,面向端侧智能体和工具调用,回答前总会先思考。40 层中只有 10 层保留会增长的 KV 缓存,所以长上下文很便宜:Q4_K_M 在 4K 下约需 15.3 GB,32K 约 15.9 GB,用满 128K 窗口约 17.9 GB。在 16 GB 显卡上偏紧,24 GB 显卡在任何上下文下都很宽裕;Q8_0(约 26.7 GB)需要 32 GB 显卡。仅支持文本。体积按 Liquid 官方发布的 GGUF 文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

15.3 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Muse Spark Open 816B-A42B

816B-A42B
新Muse

Meta Muse

Meta 目前最大的开放权重模型,10 月以 Muse Model License 发布:816B 混合专家模型,每个 token 约激活 42B 参数,面向编程和智能体任务,支持图像和音频输入。只有最小的量化版本能在单台机器上运行。Q2_K(ggml-org 发布的 304 GB 文件)在 4K 上下文下约需 319 GB,到 128K 也只要 327 GB,因为 62 层中只有 16 层的缓存会随上下文增长——512 GB 的 Mac Studio 可以从容运行,四张 80 GB 的 H100 则偏紧。用满 100 万上下文约需 389 GB。Q4_K_S(470 GB)和 Q8_0(872 GB)在本站收录的任何单台机器上都装不下。视觉和音频编码器是另外 2–4 GB 的文件,未计入。体积按已发布的 GGUF 文件计算;基准成绩是 Meta 自己报的,各档位的质量损失未公布。它的许可证不是常规开源许可:Meta 的仓库需要申请访问才能下载;基于它的产品须注明"Built with Muse Spark Open";年收入超过 2000 万美元的公司若要把它作为 API 服务提供,须先与 Meta 另签协议。

Q4_K_S · RTX 4090 · batch 1

492.4 GB

显存

1M

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_S
Hugging Face

Nemotron 3.5 Bolt 74B-A9B

74B-A9B
新OpenMDW 1.1

NVIDIA Nemotron

NVIDIA 的 Nemotron 3.5 Bolt 是 74B 混合专家模型,每个 token 约激活 9B 参数,目标是装进 24 GB 显卡。它由 Nemotron 3.5 Super VL 压缩而来,只有一个版本,即 NVIDIA 官方原生 2-bit 文件,22.0 GB。88 层中只有 8 层的缓存随上下文增长,所以上下文很便宜:4K 约 23.1 GB,128K 约 24.1 GB,用满 256K 约 25.2 GB。这正是 NVIDIA 设计的 24 GB,但超过了本站的宽裕线,所以 24 GB 显卡判定为偏紧;32 GB 显卡或 48 GB 的 Mac 可以从容运行。图像编码器是另外 1.7 GB 的文件。基准成绩是 NVIDIA 自己报的,2-bit 版本的质量损失未公布。

IQ2_XXS · RTX 4090 · batch 1

23.1 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF IQ2_XXS
Hugging Face

Nemotron 3.5 Super VL 120B-A12B

120B-A12B
新OpenMDW 1.1

NVIDIA Nemotron

NVIDIA 的 Nemotron 3.5 Super VL 是 120B 混合专家视觉语言模型,每个 token 约激活 12B 参数,面向编程、工具调用和文档处理,上下文最长 100 万 token。88 层中只有 8 层的缓存随上下文增长,所以即使用满窗口也不贵:Q4_0(ggml-org 发布的 72.1 GB 文件)在 4K 下约需 75 GB,100 万上下文约 84 GB。128 GB 的 Mac 或 DGX Spark 128G 可以从容运行,单张 80 GB 显卡偏紧。Q8_0(128 GB)需要 256 GB 的 Mac。视觉编码器是另外 1–1.7 GB 的文件。体积按已发布的 GGUF 文件计算;基准成绩是 NVIDIA 自己报的,各档位的质量损失未公布。

Q4_0 · RTX 4090 · batch 1

75.4 GB

显存

1M

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_0
Hugging Face

Nemotron 3.5 Lightning 30B-A3B

30B-A3B
新OpenMDW 1.1

NVIDIA Nemotron

NVIDIA Nemotron 3.5 系列中的小尺寸成员:30B 纯文本混合专家模型,每个 token 约激活 3B 参数,生成速度大致相当于 3B 模型。52 层中只有 6 层的缓存随上下文增长,所以长上下文几乎不占额外显存:Q4_0(ggml-org 发布的 18.9 GB 文件)在 4K 下约需 19.8 GB,128K 约 20.6 GB,用满 256K 约 21.4 GB。24 GB 显卡到 128K 都很宽裕,只有用满窗口时偏紧;16 GB 显卡装不下。Q8_0(约 35 GB)需要 48 GB 显卡或 64 GB 的 Mac。另有一个可选的 1.2 GB 草稿文件用于投机解码,单独下载。体积按已发布的 GGUF 文件计算;基准成绩是 NVIDIA 自己报的,各档位的质量损失未公布。

Q4_0 · RTX 4090 · batch 1

19.8 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_0
Hugging Face

Ling-3.1-flash

560B-A25B
新MIT

inclusionAI Ling

inclusionAI(蚂蚁集团)的 Ling-3.1-flash,10 月以 MIT 许可发布:560B 混合专家推理模型,每个 token 激活 25B 参数。它面向智能体、编程和长时间的办公任务。72 层中只有 9 层保留会增长的缓存,而且存的是 MLA 压缩向量,所以即使用满 256K 窗口,缓存也只多约 3 GB——决定它能在什么硬件上跑的是权重。Q4_K_M 在 4K 上下文下约需 371 GB,超过本索引里任何一张单卡。512 GB 的 Mac Studio 能分给 GPU 约 384 GB,按本站规则只能算「勉强」装下;服务器上,官方的参考配置是 8 张 H200 或 4 张 GB300 跑 FP8。Q8_0 约需 628 GB。官方称上下文窗口为 100 万 token,但发布的 config 设定为 262,144 个位置且没有缩放配置,所以这里按这个上限计算。llama.cpp 从 b11571 版起以 `bailingmoe3` 架构运行它。体积按已公布的 GGUF 文件计算,制作者给出的是 KL 散度而非困惑度,所以不显示质量损失。

Q4_K_M · RTX 4090 · batch 1

370.6 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Beam 1.0 501B-A23B

501B-A23B
新Apache 2.0

Reflection Beam

Reflection AI 的首个开放权重模型,10 月以 Apache 2.0 发布:501B 纯文本混合专家模型,每个 token 约激活 23B 参数,面向编程和智能体任务。上下文窗口 100 万 token;52 层中只有 9 层的缓存随上下文增长,所以上下文很便宜:Q2_K(DevQuasar 发布的 182 GB 文件)在 4K 下约需 191 GB,128K 约 196 GB,用满 100 万上下文约 230 GB。512 GB 的 Mac Studio 在任何上下文下都能从容运行,256 GB 的到 128K 为止偏紧。Unsloth 的动态 4-bit 文件 UD-Q4_K_XL(307 GB)在 4K 下约需 321 GB,512 GB 的 Mac 仍然装得下;Q8_0(533 GB)在本站收录的任何单台机器上都装不下。体积按已发布的 GGUF 文件计算;基准成绩是 Reflection 自己报的,各档位的质量损失未公布。

Q8_0 · RTX 4090 · batch 1

556.9 GB

显存

1M

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q8_0
Hugging Face

Gemma 4 12B IT

12B
新Apache 2.0

Google Gemma 4

Google 6 月发布的中等尺寸 Gemma 4:12B 稠密模型,256K 上下文,文本、图像、音频都不需要单独的编码器,原始输入直接进入同一个解码器。48 层中只有 8 层缓存完整上下文,每层只有一个宽 KV 头,所以缓存很小:32K 约 1 GB,用满 256K 也只要约 4.5 GB。Q4_K_M(unsloth 的 7.1 GB 文件)在 32K 下约 8.5 GB、128K 约 10.2 GB,12 GB 显卡都很从容;16 GB 显卡能从容加载完整窗口,8 GB 显卡即使 4K 也偏紧。bartowski 的 Q4_K_M 文件更大(7.7 GB),用它的话再加约 0.5 GB。体积按已发布的 GGUF 文件计算;图像和音频嵌入层在单独的 mmproj 文件里,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

8.0 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

North Mini Code 1.0 30B-A3B

30B-A3B
新Apache 2.0

Cohere North

Cohere 6 月发布的开源编程模型:30B 混合专家,每个 token 约激活 3B 参数,面向代码生成、智能体式软件开发和终端任务,纯文本。49 层中只有 13 层的缓存随上下文增长,所以长会话也负担得起:Q4_K_M(bartowski 的 18.7 GB 文件)在 4K 下约需 20.0 GB,32K 约 20.8 GB,128K 约 23.5 GB——24 GB 显卡到 32K 都很从容,128K 偏紧。16 GB 显卡需要用 Q3_K_M(bartowski 的 14.2 GB 文件):4K 下约 15.3 GB,偏紧,超过 32K 就装不下。模型卡写的是 256K 上下文,配置文件允许 500K,本页按 256K 计算。体积按已发布的 GGUF 文件计算;各档位的质量损失未公布,基准成绩是 Cohere 自己报的。

Q4_K_M · RTX 4090 · batch 1

20.0 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

MiniCPM-V 4.7 35B-A3B

35B-A3B
新Apache 2.0

OpenBMB MiniCPM-V

面壁智能(OpenBMB)的混合专家视觉模型:在 34.7B 的语言模型上读图像和视频,每个 token 约激活 3B 参数,结构与 Qwen3.6 35B-A3B 相同。40 层中只有 10 层保留会增长的 KV 缓存,所以上下文很便宜。Q4_K_S 在 4K 下约需 20.9 GB,24 GB 显卡上很宽裕;Q4_K_M(22.2 GB)在 24 GB 上偏紧,32 GB 显卡用满 256K 窗口也装得下 Q4_K_M。视觉编码器是另外一个 1.1 GB 的文件,不在上面的数字里;加载图像后,24 GB 显卡上的 Q4_K_S 也会变成偏紧。llama.cpp 以 `qwen35moe` 架构运行它的文本部分。体积按 OpenBMB 官方 GGUF 文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

22.2 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

MiMo-V2.6-Flash

309B-A15B
新MIT

Xiaomi MiMo

小米 MiMo-V2.6 系列中较小的一款:309B 参数,每个 token 约激活 15B,MIT 许可,能读文本、图像、视频和音频。发布的权重在专家层本身就是 4 比特(MXFP4),ggml-org 的 GGUF 原样保留:4K 上下文约需 175 GB,只有 512 GB 的 Mac Studio 才宽裕,256 GB 的偏紧。Q2_K 版本(约 132 GB)在 256 GB 的 Mac 上很宽裕,在 192 GB 的 Mac 上偏紧。48 层中只有 9 层保留会增长的缓存,所以即使用满 100 万 token 窗口也只多约 25 GB。llama.cpp 以 `mimo2` 架构运行它(与 MiMo-V2.6-Pro 相同),视觉通过单独的编码器加载。体积按 ggml-org 的 GGUF 文件计算,各档位的质量损失未公布。

MXFP4 · RTX 4090 · batch 1

175.3 GB

显存

1M

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF MXFP4
Hugging Face

K2 Horizon MoVA 36B-A4B

36B-A4B
新Apache 2.0

MBZUAI K2 Horizon

MBZUAI IFM 的 K2 Horizon 系列中的混合专家型号:37.5B 参数,每个 token 约激活 4B,Apache 2.0 许可,训练数据一并公开。48 层每层都保留普通 KV 缓存,所以上下文不便宜:Q4_K_M 在 4K 上下文约需 24.2 GB,24 GB 显卡上偏紧,32 GB 显卡到 16K 都宽裕;用满 512K 窗口约需 129 GB。llama.cpp 以 `k2-horizon` 架构运行它。体积按 IFM 官方 GGUF 文件计算(bartowski 的 Q4_K_M 约大 0.3 GB),各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

24.2 GB

显存

512K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

K2 Horizon 32B

32B
新Apache 2.0

MBZUAI K2 Horizon

MBZUAI IFM 的 K2 Horizon 系列中的 32B 稠密型号(实际 34.8B 参数,Apache 2.0 许可,训练数据一并公开)。64 层每层都保留 8 个 KV 头的普通缓存:Q4_K_M 在 4K 上下文约需 23.1 GB,24 GB 显卡上偏紧,32 GB 显卡到 16K 都宽裕;上下文每多 32K 约多 8.8 GB。llama.cpp 以 `k2-horizon` 架构运行它。体积按 IFM 官方 GGUF 文件计算(bartowski 的 Q4_K_M 约大 1 GB),各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

23.1 GB

显存

512K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

K2 Horizon 7B

7B
新Apache 2.0

MBZUAI K2 Horizon

MBZUAI IFM 的 K2 Horizon 系列中的小号稠密型号,Apache 2.0 许可,训练数据一并公开。名字叫 7B,实际有 9.0B 参数:25 万词表的输入、输出两张表多出约 2B。Q4_K_M 在 4K 上下文约需 6.5 GB,8 GB 显卡在这个长度下宽裕;16 GB 显卡到 32K(10.8 GB)都宽裕,128K 则约需 25.6 GB,因为每层都保留普通 KV 缓存。llama.cpp 以 `k2-horizon` 架构运行它。体积按 IFM 官方 GGUF 文件计算(bartowski 的 Q4_K_M 约大 0.2 GB),各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

6.5 GB

显存

512K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Recursive Flint 40B-A2.5B

40B-A2.5B
新Apache 2.0

Recursive Flint

Recursive 10 月 21 日发布的开源编程模型,Apache 2.0 许可:39.8B 参数,每个 token 约激活 2.5B,面向追查 bug、补测试这类代码仓库工作。49 层中只有 14 层的缓存随上下文增长,所以长会话也很省显存。在 24 GB 显卡上,Q3_K_M(bartowski 的 19.5 GB 文件)在 4K 下约需 20.6 GB,宽裕;一直到 128K 也只是偏紧。Q4_K_M 在 4K 下约需 26.7 GB,需要 32 GB 显卡;ggml-org 的 Q4_K_M 文件比 bartowski 的小约 2 GB。llama.cpp 以 `flint` 架构运行它;Ollama v0.40.8 目前只在 macOS 上支持。体积按真实文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

26.7 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Laguna S 2.1 118B-A8B

118B-A8B
新OpenMDW 1.1

Poolside Laguna

Poolside 的智能体编程模型,采用 OpenMDW-1.1 许可:117.6B 参数,每个 token 约激活 8B,100 万 token 上下文。48 层中只有 12 层的缓存随上下文增长,其余层只用 512 token 的滑动窗口。Q4_K_M(ggml-org 的 67.7 GB 文件)在 4K 下约需 71.0 GB,128 GB 的 DGX Spark 或 Mac 都很宽裕;用满 100 万窗口也只多约 53 GB。Poolside 自己发布的 Q4_K_M 文件大得多(96.0 GB),下载前请确认是哪个文件。llama.cpp 以 `laguna` 架构运行它。体积按真实文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

71.0 GB

显存

1M

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

K2 Horizon 0.9B

0.9B
新Apache 2.0

MBZUAI K2 Horizon

MBZUAI IFM 的 K2 Horizon 系列中最小的型号,Apache 2.0 许可,训练数据一并公开。名字叫 0.9B,实际是 1.08B 参数。Q4_K_M 在 4K 下约需 1.0 GB,32K 下约 2.6 GB,几乎什么硬件都能跑,包括纯 CPU。它每一层都保留普通缓存,所以用满 128K 窗口约需 8.4 GB。IFM 自己的 GGUF 仓库把这些文件命名为 1B;这里的体积按 bartowski 的文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

1.0 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

K2 Horizon 3.7B

3.7B
新Apache 2.0

MBZUAI K2 Horizon

MBZUAI IFM 的 K2 Horizon 系列中的小号稠密型号,Apache 2.0 许可,训练数据一并公开。名字叫 3.7B,实际有 5.06B 参数:25 万词表的输入、输出两张表多出约 1.3B。Q4_K_M 在 4K 下约需 4.0 GB,任何显卡都宽裕;32K 下约 8.3 GB,在 8 GB 显卡上偏紧。它每一层都保留普通缓存,所以 128K 约需 23.2 GB。IFM 自己的 GGUF 仓库把这些文件命名为 4B;这里的体积按 bartowski 的文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

4.0 GB

显存

512K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

K2 Horizon 375B-A23B

375B-A23B
新Apache 2.0

MBZUAI K2 Horizon

MBZUAI IFM 的 K2 Horizon 系列中最大的型号,Apache 2.0 许可,训练数据一并公开:按配置算出 379B 参数,每个 token 约激活 23B。61 层每一层都保留普通缓存。Q2_K(bartowski 的 146 GB,分 4 卷)在 4K 下约需 154 GB,256 GB 的 Mac Studio 宽裕;Q4_K_M(238 GB,分 7 卷)约需 250 GB,只有 512 GB 的才宽裕。IFM 没有为这个尺寸发布 GGUF;这里的体积按 bartowski 的文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

249.7 GB

显存

512K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Nemotron 3.5 Bolt E4B

E4B
新OpenMDW 1.1

NVIDIA Nemotron

NVIDIA 的 Nemotron 3.5 Bolt E4B 是基于 Google Gemma 4 E4B 的小型视觉模型。结构完全相同,42 层,实际参与计算的约 4.7B 参数外加一张 2.8B 的逐层嵌入表,支持图像输入,上下文 64K。42 层中只有 4 层的缓存随上下文增长,所以长上下文很便宜。唯一的标准 Q4_K_M 文件(LM Studio 发布,6.2 GB)比档位名称暗示的大得多,因为嵌入表没有按 4 bit 存储。4K 上下文约需 6.6 GB,8 GB 显卡宽裕;64K 约需 7.6 GB,8 GB 显卡偏紧。Q8_0(8.0 GB 文件)4K 约需 8.5 GB,要 12 GB 显卡。在独立显卡上,llama.cpp 会把嵌入表留在系统内存,实际显存占用比这里低。视觉编码器是另外 0.6–1.0 GB 的文件,由 unsloth 发布;旁边还有一个用于投机解码的小型 DFlash 草稿模型。基准成绩是 NVIDIA 自己报的,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

6.6 GB

显存

64K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Nanbeige4.3 33B

33B
新Apache 2.0

Nanbeige

Nanbeige4.3 33B 是采用标准 Llama 结构的 33B 稠密模型,Apache 2.0 许可。它的 512K 上下文靠很大的 RoPE base 实现,而 52 层每层都保留完整 KV 缓存(8 个 KV 头),所以上下文很贵:每个 token 约 213 KB。Q4_K_M 在 4K 上下文约需 22.6 GB,24 GB 显卡偏紧;16K 约需 25.3 GB,单张 24 GB 卡就放不下了。Q3_K_M 在 4K 上下文约需 17.5 GB,24 GB 显卡宽裕;16K 约需 20.2 GB。32 GB 显卡跑 Q4_K_M 到 16K 都宽裕。用满 512K 窗口光缓存就要 100 GB 以上。体积按 bartowski 的 GGUF 文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

22.6 GB

显存

512K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Spark-X2.6 4B

4B
新Apache 2.0

XHToken Spark

Spark-X2.6 4B 是 XHToken 的小模型,标称上下文 100 万 token。36 层中只有 9 层的缓存随上下文增长,其余 27 层是 512 token 滑动窗口。Q4_K_M 在 4K 上下文约需 3.0 GB,8 GB 显卡宽裕;32K 约需 4.1 GB,仍然宽裕。128K 约需 7.8 GB,8 GB 显卡偏紧;用满 100 万上下文要 40 GB 以上。llama.cpp 以 spark2-5 架构运行它。XHToken 官方的 Q4_K_M 文件有 3.5 GB,因为嵌入层和注意力门保留了 16 位;这里按 bartowski 的标准 2.6 GB 文件计算。各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

3.0 GB

显存

1M

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

LFM3 1.7B

1.7B
新LFM Open

Liquid AI LFM3

Liquid AI LFM3 系列中最小的模型,10 月 27 日发布:一个 1.7B 文本模型,上下文 256K,面向手机、笔记本和小显存显卡。24 层中只有 6 层的缓存随上下文增长;5 层是 256 token 滑动窗口,其余 13 层是短卷积。Q4_K_M 在 4K 下约需 1.2 GB,128K 下约需 2.8 GB,8 GB 显卡可以从容运行;用满 256K 窗口约需 4.5 GB。Q8_0 在 4K 下约需 2.0 GB。Ollama 自 v0.40.13 起在 Windows、Linux 和 Apple 芯片上都能运行 LFM3 系列,llama.cpp 也在各平台都能加载它的架构。体积按 Liquid 官方发布的 GGUF 文件大小计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

1.2 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

LFM3-VL 2B

2B
新LFM Open

Liquid AI LFM3

Liquid AI LFM3 系列的视觉语言模型:文本部分与 LFM3 1.7B 结构相同(24 层),另带一个 14 层视觉编码器,以单独的投影文件发布(F16 为 379 MB,与模型一起加载)。24 个文本层中只有 6 层的缓存随上下文增长,5 层是 256 token 滑动窗口,13 层是短卷积。文本窗口为 128,000 token,是 LFM3 1.7B 的一半。llama.cpp 和 Ollama 都能运行它。

Q4_K_M · RTX 4090 · batch 1

1.2 GB

显存

125K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

MiMo-V2.6-Distill-Qwen-9B

9B
新MIT

Xiaomi MiMo

小米把 MiMo-V2.6 蒸馏到 Qwen3.5 9B 架构上的版本,9 月发布,通过单独的视觉编码器读取图像。32 层中只有 8 层保留会增长的缓存。Q4_K_M 在 4K 下约需 6.3 GB,16K 下约需 6.7 GB,8 GB 显卡可以从容运行;32K(7.2 GB)在 8 GB 卡上偏紧,10 GB 起才宽裕;128K 下约需 10.5 GB,12 GB 显卡可以从容运行。Q8_0 在 4K 下约需 10.1 GB,12 GB 起很宽裕。视觉编码器另需约 0.9 GB。体积按 bartowski 发布的 GGUF 文件大小计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

6.3 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Mistral Large 4

1T-A52B
新Mistral Open-Weight

Mistral Large

Mistral AI 的开放权重旗舰模型,10 月发布:1T 混合专家模型,每个 token 约激活 52B 参数。它支持文本和图像输入(视觉编码器是单独的 3.4 GB 文件),上下文窗口 100 万 token。它的注意力缓存经过压缩,每个 token 约 82 KB,和权重相比上下文很便宜。本站收录的机器中只有 512 GB 的 Mac Studio 装得下,而且只能用 2-bit 文件:IQ2_XXS(ggml-org 的 298 GB 文件)在 4K 下约需 311 GB、256K 约 334 GB,都很从容,用满 100 万上下文约 401 GB,偏紧。Q2_K(381 GB)在 4K 下约需 398 GB,在这台 Mac 上到 64K 为止偏紧。Q4_K_M(635 GB,4K 下约 664 GB)和 Q8_0(1.1 TB)需要多卡服务器。llama.cpp 自 10 月下旬起支持运行。体积按 ggml-org 发布的 GGUF 文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

663.8 GB

显存

1M

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Metis-1.6 Praxis

3B MoE
新Apache 2.0

Metis

Lernex 的两个 Metis-1.6 模型中较小的一个,11 月 1 日以 Apache 2.0 发布。它是循环混合结构:12 层以 Mamba-2 为主,其中 2 层是注意力,每层都带一个小型混合专家模块,每个 token 把整组层跑两遍,因此 2.95B 的模型每个 token 约读取 1.1B 参数的权重。每一遍都有自己的注意力缓存,合计每个 token 约 8 KB,所以 128K 上下文很便宜。Q4_K_M 在 4K 下约需 2.2 GB,128K 下约需 3.2 GB,4 GB 显卡可以从容运行。Q8_0 在 128K 下约需 4.5 GB,6 GB 显卡可以从容运行。llama.cpp 自 11 月 3 日起支持运行。体积按 Lernex 自己发布的 GGUF 文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

2.1 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Metis-1.6 Logos

10B MoE
新Apache 2.0

Metis

Lernex 的两个 Metis-1.6 模型中较大的一个,11 月 1 日以 Apache 2.0 发布。它是循环混合结构:20 层以 Mamba-2 为主,其中 3 层是注意力,每层都带一个混合专家模块,每个 token 把整组层跑两遍,因此 10.24B 的模型每个 token 约读取 2.6B 参数的权重。每一遍都有自己的注意力缓存,合计每个 token 约 15 KB。IQ4_XS 在 4K 下约需 6.4 GB,32K 下约需 6.9 GB,8 GB 显卡可以从容运行。Q4_K_M 在 4K 下约需 7.1 GB,在 8 GB 卡上偏紧,10 GB 起才宽裕;128K 下约需 9.1 GB,12 GB 显卡可以从容运行。Q8_0 在 4K 下约需 11.7 GB,16 GB 显卡可以从容运行。llama.cpp 自 11 月 3 日起支持运行。体积按 Lernex 自己发布的 GGUF 文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

7.1 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Xing4.0 29B-A4B

29B-A4B
新Apache 2.0

Xing

XingChen-AGI 发布的 40 层混合专家文本模型,Apache 2.0 许可:64 个路由专家、每个 token 用 4 个,所以 29B 的模型每个 token 只读取约 4B 参数。注意力是 DeepSeek 式的 MLA,缓存经过压缩,每个 token 约 46 KB,和权重相比上下文很便宜:Q4_K_M 下 32K 窗口只多占 1.4 GB。Q4_K_M 在 4K 下约需 21.2 GB,24 GB 显卡偏紧。IQ4_XS 在 4K 下约需 19.0 GB,24 GB 显卡可以从容运行。Q3_K_M 在 4K 下约需 17.0 GB,20 GB 显卡可以从容运行。Q2_K 在 4K 下约需 13.6 GB,16 GB 显卡可以从容运行。用满 262,144 token 的窗口,Q4_K_M 在 256K 下约需 33.3 GB。每个 GGUF 文件还带一个 1.7B 参数的多 token 预测模块,llama.cpp 默认不加载它(只有推测解码才会用到),所以 Q4_K_M 的实际占用比上面的数字低约 1 GB。体积按 bartowski 发布的 GGUF 文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

21.2 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Ripple-65B-Preview

65B
新Apache 2.0

Ripple

ricursiveAI 发布的 65B 稠密模型,Apache 2.0 许可,目前是预览版;Ollama 0.40.16 的发布说明称它面向智能体编程,运行名为 `ripple-preview`。只有每 5 层中的 1 层(80 层中 16 层)是全局注意力,缓存增长的就是这部分:每个 token 64 KB,32K 窗口多占 1.9 GB,128K 多占约 8.5 GB。其余 64 层是 1,024 token 的滑动窗口,合计固定约 0.4 GB;窗口长度为 2,097,152 token。AtomicChat 名为 AD 的文件比同名的标准档位更大(它的 IQ2_XXS 是 20.0 GB,每权重 2.47 bit)。IQ1_M 在 4K 下约需 20.0 GB,24 GB 显卡可以从容运行。IQ2_XXS 在 4K 下约需 21.6 GB,24 GB 显卡偏紧。IQ2_S 在 4K 下约需 27.2 GB,32 GB 显卡可以从容运行。Q4_K_M 是 38.8 GB 的标准文件,在 4K 下约需 41.2 GB,48 GB 显卡可以从容运行。体积按 AtomicChat 发布的 GGUF 文件计算,各档位的质量损失未公布。

Q4_K_M · RTX 4090 · batch 1

41.2 GB

显存

2M

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Hy-Memory-30B-A3B

30B-A3B
新Apache 2.0

Tencent Hy

腾讯面向智能体的记忆写入模型,10 月以 Apache 2.0 发布:它的用途是把智能体的历史整理成存储的记忆,而不是聊天。它是 30B 的混合专家模型,128 个专家、每个 token 用 8 个,所以每个 token 只读取约 3B 参数。每一层都保留完整缓存,每个 token 96 KB。腾讯自己发布了 GGUF 文件,其中有两个混合版本:除专家外全部保持 Q8_0,专家用 IQ2_XXS 或 IQ1_M 存储。所有版本都没有公布质量损失。

Q4_K_M · RTX 4090 · batch 1

19.5 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Kolibri-1 78B-A3.5B

78B-A3.5B
新Apache 2.0

Aleph Alpha Kolibri

Aleph Alpha 的 78B 混合专家模型,Apache 2.0,每个 token 读取约 3.5B 参数。每层 384 个专家,每个 token 用 6 个,外加 1 个共享专家。50 层中只有 10 层的缓存随上下文增长,其余 40 层使用 513 token 的窗口,所以相对体量来说长上下文很省。权重以 FP8 发布;这里的大小取自 bartowski 的 GGUF 文件。所有版本都没有公布质量损失。

Q4_K_M · RTX 4090 · batch 1

52.2 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Clover-35B-A3B-Preview

35B-A3B
新Apache 2.0

DiffuSpace Clover

DiffuSpace 基于 Qwen3.6-35B-A3B 骨干构建的 35B 块扩散模型,Apache 2.0,128K 上下文:256 个专家、每个 token 用 8 个,因此每个 token 只读取约 3B 参数。40 层中只有 10 层的缓存随上下文增长,其余 30 层是 Gated DeltaNet 线性注意力,每个 token 只增加约 20 KB,是常规架构的四分之一。llama.cpp 自 11 月 2 日起支持它,按从左到右方式生成并带自推测解码;块扩散本身要走 DiffuSpace 自己的 SGLang 推理路径。体积取自 bartowski 发布的 GGUF:Q4_K_M 在 4K 下约需 23.4 GB,24 GB 显卡偏紧;Q3_K_M 在 4K 下约需 18.2 GB,24 GB 显卡可以舒适运行,跑满 128K 也仍然舒适。各档位都没有公布质量损失。

Q4_K_M · RTX 4090 · batch 1

23.4 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

LFM2.5 1.2B Instruct

1.2B
新LFM Open

LiquidAI LFM2.5

Liquid AI 面向端侧的小型混合架构文本模型。官方配置有 16 层,其中仅 6 层保留随上下文增长的注意力缓存,其余使用短卷积。128,000 token 上限来自配置,体积来自官方 GGUF 文件。LFM Open 许可有营收门槛,部署前请核对条款。各档位没有公布困惑度损失。

Q4_K_M · RTX 4090 · batch 1

0.8 GB

显存

125K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

LFM2.5 8B-A1B

8B-A1.5B
新LFM Open

LiquidAI LFM2.5

Liquid AI 的混合专家文本模型,发布者标注每个 token 激活 1.5B 参数,所有专家仍需常驻内存。官方配置有 24 层、6 层全注意力;路由层各有 32 个专家,每个 token 选 4 个,开头两层为稠密层。体积取自官方 GGUF 字节数,参数量采用 Hugging Face 报告的总数,而非模型卡取整后的 8.3B。LFM Open 许可有营收门槛。各档位没有公布困惑度损失。

Q4_K_M · RTX 4090 · batch 1

5.4 GB

显存

125K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Ministral 3 3B Instruct

3B
新Apache 2.0

Mistral Ministral 3

Apache 2.0 许可的 Ministral 3 小型指令模型,支持文本和图像输入。语言骨干有 26 层全注意力,256K 上下文。语言参数量按官方配置重建,独立视觉编码器不计入该参数量,其字节数单独记录在各 GGUF 档位旁。读图估算须额外计入编码器,并将图像 token 计入上下文预算。各档位没有公布困惑度损失。

Q4_K_M · RTX 4090 · batch 1

2.7 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Ministral 3 14B Instruct

14B
新Apache 2.0

Mistral Ministral 3

Apache 2.0 许可的 Ministral 3 较大尺寸指令模型,支持文本和图像输入。语言骨干有 40 层全注意力、8 个 128 维 KV 头,256K 上下文。参数量按官方配置重建语言模型计算,独立视觉编码器作为额外文件记录,不混入语言权重。长上下文和读图的运行内存均高于 GGUF 文件本身。各档位没有公布困惑度损失。

Q4_K_M · RTX 4090 · batch 1

9.3 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Arete 27B

27B
新Apache 2.0

Nous Research Arete

Nous Research 在 Qwen3.8 27B 上做后训练,用于通用助手和智能体任务,架构保持不变。64 层中只有 16 层的 KV 缓存随上下文增长。内存按 bartowski GGUF 文件估算;另有可选的视觉编码器,已记录字节数。QuantDiff 已测试 Q3_K_M 和 Q4_K_M 两份文件的任务准确率和工具调用表现。本站尚未独立复测。

Q4_K_M · RTX 4090 · batch 1

18.3 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

TwIL 8B balanced

8.8B
新webAI NC

webAI TwIL

基于 IBM Granite 4.2 8B 后训练的推理模型,用于数学、代码与指令遵循。本条只收录 balanced 权重;verbose 是另一套权重,不混入本条量化档位。40 层均保留随上下文增长的 KV 缓存。webAI 许可仅允许非商业研究和教育用途。未公布量化质量损失。

Q4_K_M · RTX 4090 · batch 1

6.3 GB

显存

128K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

MNN-Pocket 0.3B Instruct

0.36B
新Apache 2.0

Alibaba MNN Pocket

阿里 MNN 发布的中英双语轻量指令模型。本条采用官方由 BF16 转换的 Q8_0 文件,含独立输出表,共存储 361,551,232 个参数。QAT Q4_1 权重使用共享嵌入,单独收录。发布说明标注 32K 上下文;配置和 GGUF 文件头为 40,960,本条保留文档说明的 32K 范围。未记录实测速度或困惑度损失。

Q8_0 · RTX 4090 · batch 1

0.5 GB

显存

32K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q8_0
Hugging Face

MNN-Pocket 0.3B QAT

0.30B
新Apache 2.0

Alibaba MNN Pocket

官方 QAT 权重转换的 GGUF Q4_1,保留训练得到的 4-bit 编码。输入、输出嵌入共享,共存储 302,830,976 个参数;与由 BF16 转换的 Q8_0 条目是不同权重。28 层均为完整 GQA 注意力。虽然配置和 GGUF 文件头写明 40,960,本条按发布文档保守限定为 32K 上下文。不把任务跑分差异换算成困惑度损失百分比。

Q4_1 · RTX 4090 · batch 1

0.3 GB

显存

32K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_1
Hugging Face

BotPsy 0.8B

0.75B
新Apache 2.0

QVAC BotPsy

QVAC/Tether 基于 Qwen3.5 训练的工具调用、端侧助手模型。已发布 GGUF 含 752,393,024 个语言参数;原始仓库较大的总数还计入视觉网络。这些文件仅含文本权重,未提供视觉投影文件,因此本站不提供读图选项。24 层中只有 6 层保留随上下文增长的 KV 缓存,固定循环状态未单独估算。未记录实测速度或困惑度损失百分比。

Q4_K_M · RTX 4090 · batch 1

0.6 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

DaisyRose 27B

27B
新Apache 2.0

RadixArk DaisyRose

RadixArk 基于 Qwen3.8 27B 用强化学习训练的多模态推理权重,保留了原有架构、分词器和上下文。64 层主解码器中有 16 层的 KV 缓存会增长。GGUF 另含一个 MTP 块。按整份文件估算普通解码,不额外估算投机解码缓存。读图需另加配套 F16 投影文件。未记录各档位速度或困惑度损失。

Q4_K_M · RTX 4090 · batch 1

18.4 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Apex 35B V1.0

35B-A3B
新Apache 2.0

Apex Intelligence Apex

Apex Intelligence 基于 Qwen3.6 35B-A3B 后训练的权重。40 层主解码器使用 256 个路由专家,每个 token 选择 8 个,仅 10 层主 KV 缓存随上下文增长。选用的 GGUF 和 F16 视觉投影文件来自同一个 bartowski 仓库。权重大小计入额外的 MTP 块,缓存按普通解码估算。未记录各档位速度或困惑度损失。

Q4_K_M · RTX 4090 · batch 1

23.9 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Ternary Bonsai 2 27B

27B
新Apache 2.0

Prism ML Ternary Bonsai

Prism ML 基于 Qwen3.8 27B 发布的三值权重,本条收录官方 Q2_0 封装。发布方说明,Hadamard 旋转权重要求 llama.cpp b11556 或更新版本。64 层解码器中有 16 层的缓存随上下文增长。读图另加配套 Q8_0 投影。专用 PQ2_0 和 PTQ1_0 包采用不同的运行时内核。未记录此文件的速度或困惑度损失。

Q2_0 · RTX 4090 · batch 1

8.2 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q2_0
Hugging Face

Clairic 27B

27B
新Apache 2.0

Cloudflare Clairic

Cloudflare 基于 Qwen3.8 27B 训练,从文本和图像生成带类型的结构化输出。官方 schema 辅助流程使用 Transformers 和 XGrammar。本条记录 Xylolabs 的 GGUF 语言权重和独立 BF16 投影文件,主 KV 缓存按其中 16 层估算。 未记录各档速度或困惑度损失。

Q4_K_M · RTX 4090 · batch 1

17.8 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Clairic Flash 9B

9B
新Apache 2.0

Cloudflare Clairic

Cloudflare 基于 Qwen3.5 9B 训练的小型 Clairic 权重,用于文本和图像结构化提取。官方 schema 辅助流程使用 Transformers 和 XGrammar。本条使用 Xylolabs 的 GGUF 语言权重及独立 BF16 投影,32 层中有 8 层主 KV 缓存随上下文增长。 未记录各档速度或困惑度损失。

Q4_K_M · RTX 4090 · batch 1

6.1 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face

Shot Reader 8B

8B
新Apache 2.0

Voyager Shot Reader

Voyager 基于 Qwen3-VL 8B 微调,通过抽取视频帧生成结构化镜头描述。本条使用 mradermacher 的 GGUF 和 f16 视觉投影。计算器覆盖语言权重、KV 缓存和可选投影;官方多帧流程另有预处理与运行开销。 未记录各档速度或困惑度损失。

Q4_K_M · RTX 4090 · batch 1

5.9 GB

显存

256K

上下文

—

tok/s · 4090

可用格式

GGUF
GGUF Q4_K_M
Hugging Face
还没收录的模型:已经发布、但还不能本地运行 →