MNN-Pocket 0.3B QAT
0.30BAlibaba MNN Pocket
官方 QAT 权重转换的 GGUF Q4_1,保留训练得到的 4-bit 编码。输入、输出嵌入共享,共存储 302,830,976 个参数;与由 BF16 转换的 Q8_0 条目是不同权重。28 层均为完整 GQA 注意力。虽然配置和 GGUF 文件头写明 40,960,本条按发布文档保守限定为 32K 上下文。不把任务跑分差异换算成困惑度损失百分比。
33K
最大上下文
1
量化变体
GGUF Q4_1
最佳质量
—
困惑度增幅(最佳档位)
量化变体对比
各量化级别的显存、质量损失及 RTX 4090 推理速度
实测 = 本站跑过 · 估算 = 本站未跑过:推算所得,或本站未核实的数字 · 社区 = 公开报告
每个体积对应哪个文件
文件大小不等于显存:显存一栏是计算器在 4K 上下文下的总量 —— 权重加 KV 缓存,再加 10% 的激活缓冲。两边的单位是有意不同的:文件大小用十进制 GB,和 Hugging Face 列表一致;显存一栏用 GiB(1024³ 字节),并在权重上多算 2%,所以 7.12 GB 的文件在那一栏里约是 6.8 GiB。仓库若带视觉投影(mmproj),它是另外下载的文件,两个数字都不含它。
- GGUF Q4_1taobao-mnn/MNN-Pocket-0.3B-GGUF · MNN-Pocket-0.3B-Instruct-Q4_1.gguf · 0.19 GB (191,896,672 字节) · 2026-11-17 核对
相关社区实测
以下报告只代表报告自身的测试条件,其速度不会替代本页估算,也不能证明你的配置能装下。
我们审核过的链接索引尚未收录此模型的报告。你可以浏览社区实测,或在下方分享自己的测试。
在 llamaPerf 浏览更多实测 ↗MNN-Pocket 0.3B Instruct
Alibaba MNN Pocket
阿里 MNN 发布的中英双语轻量指令模型。本条采用官方由 BF16 转换的 Q8_0 文件,含独立输出表,共存储 361,551,232 个参数。QAT Q4_1 权重使用共享嵌入,单独收录。发布说明标注 32K 上下文;配置和 GGUF 文件头为 40,960,本条保留文档说明的 32K 范围。未记录实测速度或困惑度损失。
Llama 3.2 3B Instruct
Meta Llama 3.2
小巧而实用,4GB 显存或 8GB 内存即可运行,甚至可在手机端通过 llama.cpp 运行。
Qwen2.5 3B Instruct
Alibaba Qwen2.5
Qwen2.5 迷你版,适合边缘设备,4GB 显存或树莓派级别硬件即可运行。
Llama 3.2 1B Instruct
Meta Llama 3.2
超轻量 Llama,适合移动端和嵌入式,Q4 量化仅需不到 2GB 显存。
在本地运行 MNN-Pocket 0.3B QAT
在 Q4_1、4K 上下文下,MNN-Pocket 0.3B QAT 约需 0.3 GB —— 权重 0.2 GB、KV 缓存 0.05 GB、激活缓冲 0.0 GB。本索引中能宽裕跑它的最小规格是 8 GB 显卡 —— 共 11 张,Mac M1 8G 起步;78 张卡中有 78 张可以。这些是计算值而非实测值:估算把「宽裕」的界线画在显存的 88%,大致就是桌面环境需要留出的余量。
上下文变长会多花多少
从 4K 提到 32K 约多占 0.39 GB,总量来到 0.7 GB。权重不随上下文变化,只有 KV 缓存会,而且是线性增长 —— 规划长文档场景时要盯的就是这个数字。该模型的原生上下文是 32K;在 Q4_1 下把它全部撑满约需 1 GB。
该下载哪个版本
本索引只收录了 MNN-Pocket 0.3B QAT 的 GGUF 格式,共 1 个档位(Q4_1)。 该模型没有公开的逐档困惑度数据,因此质量一列留空而不是填估算值 —— 在同一个模型内部,位数越多越忠实是数据唯一支持的排序。本站硬件上没有该模型的吞吐实测数据。GGUF 可在 NVIDIA、AMD 与苹果芯片上通过 llama.cpp 和 Ollama 运行;AWQ 与 GPTQ 面向 CUDA 和 ROCm 上的 vLLM;EXL2 是 ExLlamaV2 —— 仅限 CUDA,而且已经归档,适合本机使用而不适合提供服务。
常见问题
- MNN-Pocket 0.3B QAT 需要多少显存?
- 在 Q4_1、4K 上下文、batch 1 下约 0.3 GB,到 32K 时约 0.7 GB。这个数字是权重加 KV 缓存再加 10% 激活缓冲,由模型架构计算得出,不是在显卡上实测的。
- MNN-Pocket 0.3B QAT 能在 8GB 显卡上跑吗?
- 可以 —— 在 Q4_1、4K 上下文下约需 0.3 GB,在 Mac M1 8G 上还剩 5.7 GB,本索引中 11 张 8 GB 显卡都一样。这是能宽裕跑它的最小规格;78 张中有 78 张可以。
- MNN-Pocket 0.3B QAT 该用哪个量化档位?
- 本索引只收录了这个模型的 Q4_1 一个档位,这里没有可选的。
这个模型能跑在哪
按 Q4_1、4K 上下文估算,显存从小到大排列。「从容」指估算占用不超过显存的 88%。
怎么把它跑起来
针对本模型及同类硬件的部署指南。
本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-11-17 RSS → /zh/feed.xml