Qwen3.8 27B
27BAlibaba Qwen3.8
混合注意力：64 层中只有 16 层保留 KV 缓存，所以这个 27B 模型在 262K 上下文下的缓存约 16GB，而不是 64GB。按常规架构计算会把缓存高估四倍 —— 这里的估算只计入那 16 层，并与 8K、32K、262K 三个已公开实测值吻合。各档位的质量损失官方未公布。
262K
最大上下文
1
量化变体
GGUF Q4_K_M
最佳质量
—
精度保留率
量化变体对比
各量化级别的显存、质量损失及 RTX 4090 推理速度
实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告
Seed-OSS 36B Instruct
ByteDance Seed
稠密 36B,原生 512K 上下文。Q4 权重约 22GB,单张 24GB 卡或 2×16GB 拆分即可 —— 但真正的开销是上下文:512K 的 KV cache 单独就约 128GB,所以要先规划上下文再考虑权重。
Qwen2.5 32B Instruct
Alibaba Qwen2.5
24GB 显存单卡可运行 Q4_K_S，推理能力接近 GPT-4，性价比极高。
DeepSeek-R1-Distill-Qwen-32B
DeepSeek
R1 蒸馏至 32B，单卡 24GB（Q3/Q4）即可接近前沿推理能力。
Qwen3 32B Instruct
Alibaba Qwen3
Qwen3 稠密 32B — Qwen2.5-32B 继任者，推理与思考模式全面升级。
在本地运行 Qwen3.8 27B
在 Q4_K_M、4K 上下文下，Qwen3.8 27B 约需 17.5 GB —— 权重 15.6 GB、KV 缓存 0.25 GB、激活缓冲 1.6 GB。本索引中能宽裕跑它的最小显卡是 20 GB 的 Radeon RX 7900 XT，61 张卡中有 30 张可以。这些是计算值而非实测值：估算把「宽裕」的界线画在显存的 88%，大致就是桌面环境需要留出的余量。
上下文变长会多花多少
从 4K 提到 32K 约多占 1.75 GB，总量来到 19.4 GB。这比参数量给人的印象要温和：64 层中只有 16 层的 KV 缓存会随上下文增长，因此缓存的增速只有常规架构的一小部分。该模型的原生上下文是 256K；在 Q4_K_M 下把它全部撑满约需 35 GB。
该下载哪个版本
本索引只收录了 Qwen3.8 27B 的 GGUF 格式，共 1 个档位（Q4_K_M）。 该模型没有公开的逐档困惑度数据，因此质量一列留空而不是填估算值 —— 在同一个模型内部，位数越多越忠实是数据唯一支持的排序。本站硬件上没有该模型的吞吐实测数据。GGUF 可在 NVIDIA、AMD 与苹果芯片上通过 llama.cpp 和 Ollama 运行；AWQ 与 GPTQ 面向 CUDA 和 ROCm 上的 vLLM；EXL2 仅限 CUDA 上的 ExLlamaV2。
常见问题
- Qwen3.8 27B 需要多少显存？
- 在 Q4_K_M、4K 上下文、batch 1 下约 17.5 GB，到 32K 时约 19.4 GB。这个数字是权重加 KV 缓存再加 10% 激活缓冲，由模型架构计算得出，不是在显卡上实测的。
- Qwen3.8 27B 能在 20GB 显卡上跑吗？
- 可以 —— 在 Q4_K_M、4K 上下文下约需 17.5 GB，在 Radeon RX 7900 XT 上还剩 2.5 GB。这是本索引中能宽裕跑它的最小显卡；61 张中有 30 张可以。
- Qwen3.8 27B 该用哪个量化档位？
- 该模型没有公开的质量对比数据，所以按体积来选：Q4_K_M 是多数人使用的档位，bits-per-weight 越高越忠实。索引中的 1 个档位是 Q4_K_M。