开源 · 端侧部署 · 极客优先
2026-08-08模型索引 +4 → 79：Qwen3-VL 8B / 30B-A3B、Magistral Small 1.2、Seed-OSS 36B —— 面向受限硬件挑选（12GB 卡上的多模态、适合统一内存的小激活 MoE、双卡尺寸的 512K 上下文）。Qwen2-VL 7B 标记为过时

极致 
量化。

抹平学术论文与端侧部署之间的鸿沟。在消费级硬件上流畅运行最先进的大语言模型。

浏览模型库显存计算器
GGUFAWQEXL2GPTQHQQ等

从这里开始

我有 8GB 显存

消费级显卡入门部署指南

我要启动命令

llama.cpp / Ollama / vLLM / ExLlama

该用哪种量化格式？

3 个问题 → GGUF / AWQ / EXL2

79已收录量化模型
5支持格式
43GPU 数据库
98.4%平均精度保留率

数据更新于 2026-08-08

本周更新

新模型、最近新增标签与数据节奏2026-08-08

浏览最近模型 RSS
  • 2026-08-08模型索引 +4 → 79：Qwen3-VL 8B / 30B-A3B、Magistral Small 1.2、Seed-OSS 36B —— 面向受限硬件挑选（12GB 卡上的多模态、适合统一内存的小激活 MoE、双卡尺寸的 512K 上下文）。Qwen2-VL 7B 标记为过时
  • 2026-08-08新增 Cookbook：本地运行 GPT-OSS 20B/120B 且不重新量化（共 23 篇）。显存计算器新增 MXFP4 档 —— 此前给 GPT-OSS 选 Q4_K_M 会把权重高估约 14%
  • 2026-08-07模型索引 +4 → 75：GPT-OSS 20B/120B（原生 MXFP4）、GLM-4.5-Air 106B-A12B、Devstral Small 1.1 —— 面向 16GB 显卡与统一内存 Mac 的 MoE 批次
完整更新日志 →

编辑推荐

精选优质量化版本 — 点击查看模型详情

查看全部 →

格式热度指数

社区采用估算（编辑整理）

  • 1GGUF
    89%
  • 2AWQ
    45%
  • 3EXL2
    32%
  • 4GPTQ
    28%
  • 5HQQ
    18%

基于 HF GGUF 下载占比与社区讨论量的编辑估算 — 非实时统计

快捷工具

显存计算器

精确计算任意模型 × 量化格式 × 上下文长度的内存需求，红黄绿灯硬件可行性诊断。

打开工具 →

CLI 脚本生成器

秒生成 llama.cpp、Ollama、vLLM、ExLlamaV2 启动命令，支持一行式或 Docker Compose 输出。

打开工具 →

格式向导

回答 3 个问题，获得个性化的 GGUF、AWQ 或 EXL2 推荐。

打开工具 →

模型对比

并排比较两个模型的显存、速度和质量，找出最适合你 GPU 的选择。

打开工具 →

探索本站

模型库

79

个已索引模型，含各量化级别的显存、速度与质量

浏览全部模型
部署指南
全部 23 篇指南
基准测试

Llama、Qwen、DeepSeek 多模型真实硬件 tok/s 与显存矩阵。

查看基准测试

数据更新日志

最后更新 2026-08-08

  • 2026-08-08模型索引 +4 → 79：Qwen3-VL 8B / 30B-A3B、Magistral Small 1.2、Seed-OSS 36B —— 面向受限硬件挑选（12GB 卡上的多模态、适合统一内存的小激活 MoE、双卡尺寸的 512K 上下文）。Qwen2-VL 7B 标记为过时
  • 2026-08-08新增 Cookbook：本地运行 GPT-OSS 20B/120B 且不重新量化（共 23 篇）。显存计算器新增 MXFP4 档 —— 此前给 GPT-OSS 选 Q4_K_M 会把权重高估约 14%
  • 2026-08-07模型索引 +4 → 75：GPT-OSS 20B/120B（原生 MXFP4）、GLM-4.5-Air 106B-A12B、Devstral Small 1.1 —— 面向 16GB 显卡与统一内存 Mac 的 MoE 批次
  • 2026-07-22打磨：重渲 og.png（71+ 模型文案），全部 22 篇 Cookbook 已加验证技术栈条
  • 2026-07-22保鲜组合：+4 模型（Gemma 3 27B、R1-Llama-8B、Phi-4、Qwen3 1.7B）、过时标注、实测/估算、Hub「最近新增」、本周更新、RSS、Cookbook 验证栈（共 71 个）
  • 2026-06-26面向真实访问：任务入口、移动端 GPU 档案、OG/图标、格式热度诚实标注、反馈邮箱
  • 2026-06-26模型库 +4：Qwen3 4B、Qwen3-Coder 30B-A3B、Mistral Large 3、GLM-4-9B（共 67 个）
  • 2026-06-26QA 修复：HF 统计合并、≤3B 筛选、CLI/VRAM 工具 bug、i18n 优化
  • 2026-06-26模型库 +5：Qwen3 32B、30B-A3B MoE、235B-A22B、DeepSeek-V3、DeepSeek-R1（共 63 个）
  • 2026-06-26模型库 +7：Qwen3 8B/14B、Gemma 3 4B/12B、Llama 4 Scout/Maverick、Llama 3.1 405B（共 58 个）
  • 2026-06-25Cookbook 目录滚动高亮、代码块一键复制、Quant Hub Markdown 导出
  • 2026-06-25Cookbook 阅读进度条、模型 HF 链接复制、Quant Hub 可分享筛选 URL
  • 2026-06-25面包屑导航 + JSON-LD、Cookbook 文章目录锚点、Quant Hub GPU 一键筛选芯片
  • 2026-06-25Cookbook 相关指南推荐、模型详情页相似模型卡片、首页 Hero 最新更新徽章
  • 2026-06-25首页探索区块、404 页面、多模型基准测试（Qwen 7B/32B、DeepSeek-R1 14B）、AI 爬虫 llms.txt
  • 2026-06-24新增关于页面（/about）— 维护者介绍、更新频率、参与贡献方式
  • 2026-06-24Quant Hub：默认显示全部 51 个模型；规模统计条；GPU 筛选提示更清晰
  • 2026-06-24SEO：canonical URL、JSON-LD 结构化数据、页面级 metadata、Google/Bing 验证环境变量
  • 2026-06-24Quant Hub：GPU 档案筛选时可一键显示全部模型；Cookbook 新增 7 篇（8GB 显卡、WSL2、Docker GPU、Nginx、AMD ROCm）
  • 2026-06-24隐私政策 + Plausible 分析、Cookbook 独立文章页（/cookbook/[slug]）、模型库扩展至 51 个
  • 2026-06-24新增使用条款与免责声明页面（/legal），含商标声明和责任限制
  • 2026-06-24Phase 3：HF 实时数据管道、模型 A vs B 对比工具、Cookbook 扩展至 15 篇
  • 2026-06-24模型库扩展至 30+；新增格式向导、硬件档案、ExLlamaV2 CLI、SEO（sitemap/OG）、数据透明度改进
  • 2026-06-24模型详情页、GPU 反向查询、可分享显存计算器 URL、真实首页统计
  • 2025-06-10首次上线：模型库、显存计算器、CLI 生成器、基准测试、部署指南

所有数据均经人工整理并对照社区来源验证。部署前请务必交叉核对 Hugging Face 官方模型卡。