Ripple-65B-Preview
65BRipple
ricursiveAI 发布的 65B 稠密模型,Apache 2.0 许可,目前是预览版;Ollama 0.40.16 的发布说明称它面向智能体编程,运行名为 `ripple-preview`。只有每 5 层中的 1 层(80 层中 16 层)是全局注意力,缓存增长的就是这部分:每个 token 64 KB,32K 窗口多占 1.9 GB,128K 多占约 8.5 GB。其余 64 层是 1,024 token 的滑动窗口,合计固定约 0.4 GB;窗口长度为 2,097,152 token。AtomicChat 名为 AD 的文件比同名的标准档位更大(它的 IQ2_XXS 是 20.0 GB,每权重 2.47 bit)。IQ1_M 在 4K 下约需 20.0 GB,24 GB 显卡可以从容运行。IQ2_XXS 在 4K 下约需 21.6 GB,24 GB 显卡偏紧。IQ2_S 在 4K 下约需 27.2 GB,32 GB 显卡可以从容运行。Q4_K_M 是 38.8 GB 的标准文件,在 4K 下约需 41.2 GB,48 GB 显卡可以从容运行。体积按 AtomicChat 发布的 GGUF 文件计算,各档位的质量损失未公布。
2097K
最大上下文
11
量化变体
GGUF Q8_0
最佳质量
—
困惑度增幅(最佳档位)
量化变体对比
各量化级别的显存、质量损失及 RTX 4090 推理速度
实测 = 本站跑过 · 估算 = 本站未跑过:推算所得,或本站未核实的数字 · 社区 = 公开报告
| 格式 | 级别 | BPW | 显存 | PPL 损失 | 速度 | 来源 | 操作 |
|---|---|---|---|---|---|---|---|
| GGUF | IQ1_M | 2.28 | 20.0 GB | — | — | 估算 | |
| GGUF | IQ2_XXS | 2.47 | 21.6 GB | — | — | 估算 | |
| GGUF | IQ2_XS | 2.73 | 23.8 GB | — | — | 估算 | |
| GGUF | IQ2_S | 3.13 | 27.2 GB | — | — | 估算 | |
| GGUF | IQ3_XXS | 3.45 | 29.9 GB | — | — | 估算 | |
| GGUF | IQ3_S | 4 | 34.5 GB | — | — | 估算 | |
| GGUF | IQ4_XS | 4.78 | 41.1 GB | — | — | 估算 | |
| GGUF | Q4_K_M | 4.79 | 41.2 GB | — | — | 估算 | |
| GGUF | Q5_K_M | 5.92 | 50.8 GB | — | — | 估算 | |
| GGUF | Q6_K | 7.12 | 60.9 GB | — | — | 估算 | |
| GGUF | Q8_0 | 8.5 | 72.6 GB | — | — | 估算 |
每个体积对应哪个文件
文件大小不等于显存:显存一栏是计算器在 4K 上下文下的总量 —— 权重加 KV 缓存,再加 10% 的激活缓冲。两边的单位是有意不同的:文件大小用十进制 GB,和 Hugging Face 列表一致;显存一栏用 GiB(1024³ 字节),并在权重上多算 2%,所以 7.12 GB 的文件在那一栏里约是 6.8 GiB。仓库若带视觉投影(mmproj),它是另外下载的文件,两个数字都不含它。
- GGUF IQ1_MAtomicChat/Ripple-65B-Preview-GGUF · Ripple-65B-Preview-AD-IQ1_M.gguf · 18.49 GB (18,493,392,352 字节) · 2026-11-10 核对
- GGUF IQ2_XXSAtomicChat/Ripple-65B-Preview-GGUF · Ripple-65B-Preview-AD-IQ2_XXS.gguf · 20.01 GB (20,007,273,952 字节) · 2026-11-10 核对
- GGUF IQ2_XSAtomicChat/Ripple-65B-Preview-GGUF · Ripple-65B-Preview-AD-IQ2_XS.gguf · 22.12 GB (22,120,482,272 字节) · 2026-11-10 核对
- GGUF IQ2_SAtomicChat/Ripple-65B-Preview-GGUF · Ripple-65B-Preview-AD-IQ2_S.gguf · 25.31 GB (25,310,774,752 字节) · 2026-11-10 核对
- GGUF IQ3_XXSAtomicChat/Ripple-65B-Preview-GGUF · Ripple-65B-Preview-AD-IQ3_XXS.gguf · 27.96 GB (27,964,982,752 字节) · 2026-11-10 核对
- GGUF IQ3_SAtomicChat/Ripple-65B-Preview-GGUF · Ripple-65B-Preview-AD-IQ3_S.gguf · 32.41 GB (32,411,600,352 字节) · 2026-11-10 核对
- GGUF IQ4_XSAtomicChat/Ripple-65B-Preview-GGUF · Ripple-65B-Preview-AD-IQ4_XS.gguf · 38.72 GB (38,722,143,712 字节) · 2026-11-10 核对
- GGUF Q4_K_MAtomicChat/Ripple-65B-Preview-GGUF · Ripple-65B-Preview-Q4_K_M.gguf · 38.80 GB (38,798,820,576 字节) · 2026-11-10 核对
- GGUF Q5_K_MAtomicChat/Ripple-65B-Preview-GGUF · Ripple-65B-Preview-AD-Q5_K_M.gguf · 47.93 GB (47,929,624,032 字节) · 2026-11-10 核对
- GGUF Q6_KAtomicChat/Ripple-65B-Preview-GGUF · 文件名未记录 · 57.67 GB (57,666,225,856 字节) · 分 2 卷 · 2026-11-10 核对
- GGUF Q8_0AtomicChat/Ripple-65B-Preview-GGUF · 文件名未记录 · 68.84 GB (68,840,113,568 字节) · 分 2 卷 · 2026-11-10 核对
GPT-OSS 120B
OpenAI GPT-OSS
GPT-OSS 大杯(总 117B / 激活 5.1B)。原生 MXFP4 权重约 61GB —— 单张 80GB 卡或 128GB 统一内存 Mac 可跑。24GB 消费卡部分卸载虽慢但可用。
GLM-4.5-Air
Zhipu GLM-4.5
智谱 Agent/推理向 MoE(总 106B / 激活 12B)。Q4 约 64GB —— 96GB+ 统一内存 Mac 或双 48GB 卡最合适。同级别中工具调用能力突出。
Qwen3.8-Flash-Next
Qwen3.8
Qwen 下一代架构的预览版,8 月发布:125B 的混合专家模型,每个 token 约激活 6B 参数,另带一张 51B 的 n-gram 查找表。llama.cpp 从内存或磁盘按需读取这张表,它从不占用显存,但要占磁盘空间,而且打包在 GGUF 文件里,所以文件比下面的数字大得多。48 层中只有 12 层保留会增长的 KV 缓存,即使用满 256K 窗口也只多约 7.5 GB。Q4_K_M 在 4K 上下文下约需 79 GB,128 GB 的 Mac 或 DGX Spark 都能从容运行;256K 下约需 87 GB,在 DGX Spark 上仍然宽裕,在 Mac 上偏紧,因为 macOS 只让 GPU 使用约四分之三的内存。单张 24 或 32 GB 显卡只有把专家卸载到系统内存才能跑。llama.cpp 以 `qwen4exp` 架构支持它。下方体积使用计算器的通用比特率(没有哪个文件大小能把模型本身和查找表分开),各档位的质量损失也未公布。
Muse Spark Open 816B-A42B
Meta Muse
Meta 目前最大的开放权重模型,10 月以 Muse Model License 发布:816B 混合专家模型,每个 token 约激活 42B 参数,面向编程和智能体任务,支持图像和音频输入。只有最小的量化版本能在单台机器上运行。Q2_K(ggml-org 发布的 304 GB 文件)在 4K 上下文下约需 319 GB,到 128K 也只要 327 GB,因为 62 层中只有 16 层的缓存会随上下文增长——512 GB 的 Mac Studio 可以从容运行,四张 80 GB 的 H100 则偏紧。用满 100 万上下文约需 389 GB。Q4_K_S(470 GB)和 Q8_0(872 GB)在本站收录的任何单台机器上都装不下。视觉和音频编码器是另外 2–4 GB 的文件,未计入。体积按已发布的 GGUF 文件计算;基准成绩是 Meta 自己报的,各档位的质量损失未公布。它的许可证不是常规开源许可:Meta 的仓库需要申请访问才能下载;基于它的产品须注明"Built with Muse Spark Open";年收入超过 2000 万美元的公司若要把它作为 API 服务提供,须先与 Meta 另签协议。
在本地运行 Ripple-65B-Preview
在 Q4_K_M、4K 上下文下,Ripple-65B-Preview 约需 41.2 GB —— 权重 36.9 GB、KV 缓存 0.63 GB、激活缓冲 3.8 GB。本索引中能宽裕跑它的最小规格是 48 GB 显卡 —— 共 3 张,A40 48G 起步;78 张卡中有 17 张可以。这些是计算值而非实测值:估算把「宽裕」的界线画在显存的 88%,大致就是桌面环境需要留出的余量。
上下文变长会多花多少
从 4K 提到 32K 约多占 1.75 GB,总量来到 43.1 GB。这比参数量给人的印象要温和:80 层中只有 16 层的 KV 缓存会随上下文增长,另有 64 层被滑动窗口封顶,因此缓存的增速只有常规架构的一小部分。该模型的原生上下文是 2M;在 Q4_K_M 下把它全部撑满约需 182 GB。
该下载哪个版本
本索引只收录了 Ripple-65B-Preview 的 GGUF 格式,共 11 个档位(IQ1_M、IQ2_XXS、IQ2_XS、IQ2_S、IQ3_XXS、IQ3_S、IQ4_XS、Q4_K_M、Q5_K_M、Q6_K、Q8_0)。 该模型没有公开的逐档困惑度数据,因此质量一列留空而不是填估算值 —— 在同一个模型内部,位数越多越忠实是数据唯一支持的排序。本站硬件上没有该模型的吞吐实测数据。GGUF 可在 NVIDIA、AMD 与苹果芯片上通过 llama.cpp 和 Ollama 运行;AWQ 与 GPTQ 面向 CUDA 和 ROCm 上的 vLLM;EXL2 是 ExLlamaV2 —— 仅限 CUDA,而且已经归档,适合本机使用而不适合提供服务。
常见问题
- Ripple-65B-Preview 需要多少显存?
- 在 Q4_K_M、4K 上下文、batch 1 下约 41.2 GB,到 32K 时约 43.1 GB。这个数字是权重加 KV 缓存再加 10% 激活缓冲,由模型架构计算得出,不是在显卡上实测的。
- Ripple-65B-Preview 能在 48GB 显卡上跑吗?
- 可以 —— 在 Q4_K_M、4K 上下文下约需 41.2 GB,在 A40 48G 上还剩 6.8 GB,本索引中 3 张 48 GB 显卡都一样。这是能宽裕跑它的最小规格;78 张中有 17 张可以。
- Ripple-65B-Preview 该用哪个量化档位?
- 该模型没有公开的质量对比数据,所以按体积来选:Q4_K_M 是多数人使用的档位,bits-per-weight 越高越忠实。索引中的 11 个档位是 IQ1_M、IQ2_XXS、IQ2_XS、IQ2_S、IQ3_XXS、IQ3_S、IQ4_XS、Q4_K_M、Q5_K_M、Q6_K、Q8_0。
这个模型能跑在哪
按 Q4_K_M、4K 上下文估算,显存从小到大排列。「从容」指估算占用不超过显存的 88%。
怎么把它跑起来
针对本模型及同类硬件的部署指南。
本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-11-11 RSS → /zh/feed.xml