感受速度

什么情况下才会播字

三种标签，只有前两种会播字。实测是本站基准表里同一张卡、同一个模型、同一档量化的一行（提示 128，生成 128，单条）。推算是一个范围：用这张卡自己的 Llama 2 7B Q4_0 生成速度，按这一档每个 token 要读的字节数缩放，误差范围是已核对的 0.99–1.31。字按范围的低端流出。天花板是显存带宽除以每个 token 读取的字节数——混合专家模型只算激活参数，不算整个文件。它是上界。同类模型在 RTX 4090 上的实测大约只有这个上界的四分之一，所以天花板从不播字。

上下文改变的是等待，不是那个范围

改上下文时，生成速度的范围不变，因为解码的瓶颈是把权重读一遍。变的是 KV 缓存和首 token 时间：用这张卡实测的 Llama 2 7B 提示词速度，按该模型的计算量缩放。没有公开预填充跑分的卡不显示等待。如果估算超过这台机器能用的内存——Mac 统一内存大约 75%，独显则是整块显存——就停止播字。这一版不模拟溢出到系统内存之后的速度。

常见问题

为什么 30B 的混合专家模型在 24 GB 卡上不播字？

除非这张卡自己有一行实测，否则我们只给出按激活参数算出的带宽天花板。拿那个数字去播，会比真实速度快好几倍。RTX 4090 上 Qwen3 30B-A3B Q4_K_M 有实测，所以那一张卡会播。

可以分享当前看到的组合吗？

可以。两张卡、模型、量化档位和上下文长度都在 URL 里。