Phi-3 Medium 14B Instruct

14B

Microsoft Phi

Microsoft 中型 Phi-3,16GB 显卡上质量/显存比极佳。

消费级显卡Mac / 苹果芯片

131K

最大上下文

3

量化变体

GGUF Q6_K

最佳质量

99.2%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式级别BPW显存PPL 损失速度来源操作
GGUFQ4_K_M4.859.8 GB3.0%102 tok/s估算
计算HF
GGUFQ6_K6.5612.8 GB0.8%88 tok/s估算
计算HF
AWQINT448.8 GB4.2%135 tok/s估算
计算HF