Solar 10.7B Instruct

11B

Upstage

深度扩展 10.7B 模型,性能超越参数量,推理基准表现出色。

消费级显卡Mac / 苹果芯片

4K

最大上下文

2

量化变体

GGUF Q4_K_M

最佳质量

97.0%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式级别BPW显存PPL 损失速度来源操作
GGUFQ4_K_M4.857.2 GB3.0%125 tok/s估算
计算HF
AWQINT446.5 GB4.2%168 tok/s估算
计算HF