Falcon 3 10B Instruct

10B

TII UAE

TII 最新 Falcon，多语言与代码能力均衡。

⬇ 4.0K HF 下载量♥ 3 点赞bartowski/Falcon3-10B-Instruct-GGUF· 数据更新于 8/14/2026

消费级显卡Mac / 苹果芯片

33K

最大上下文

量化变体

GGUF Q4_K_M

最佳质量

96.9%

精度保留率

量化变体对比

各量化级别的显存、质量损失及 RTX 4090 推理速度

实测 = 本站基准 · 估算 = 公式推算 · 社区 = 公开报告

格式	级别	BPW	显存	PPL 损失	速度	来源	操作
GGUF	Q4_K_M	4.85	7.0 GB	3.1%	118 tok/s	估算	计算 HF
GPTQ	INT4	4	6.2 GB	4.8%	155 tok/s	估算	计算 HF

Alibaba Qwen2.5

性能与资源消耗的最佳平衡点，Q4 量化仅需 16GB 显存。

Microsoft Phi

Microsoft 中型 Phi-3，16GB 显卡上质量/显存比极佳。

DeepSeek

MoE 通用模型（激活约 2.4B），长上下文，多语言对话能力强。

Alibaba Qwen3

Qwen3 14B — 2026 Qwen 系列中推理能力与显存占用的最佳平衡点。

针对本模型及同类硬件的部署指南。