工具
五个计算与生成工具,以及它们背后的两个索引。这些工具给出的每一个数字都由本站模型索引计算得出,不是手写的。
- 显存计算器
估算任意量化大模型(或 Hugging Face 上任意模型)的显存占用,并给出你的显卡或混搭多卡能否装下、速度上限、首字等待时间、能同时服务几个人,以及微调所需显存。
- 脚本生成器
为索引内任意模型生成可直接运行的 llama.cpp、Ollama、vLLM 与 ExLlamaV2 命令,含 Docker 与 Compose 版本。
- 格式向导
回答三个关于硬件与优先级的问题,得到一组真正能协同工作的量化格式、运行时与量化档位。
- 模型对比
将两个量化模型并排对比:参数量、上下文、在你选定上下文下的显存、速度与质量损失。
- 感受速度
按一张卡的实测或缩放后的 token 速度把一句话流出来,并和另一张卡并排。带宽天花板只标注,不拿来当速度播放。
按显卡直接查答案
计算器的三个后续问题 —— 能跑多快、选哪个量化、能开多长上下文 —— 已为最常见的几张卡提前算好;另有一个报错速查,收录模型加载失败时最常见的报错。
- 能跑多快
最常见几张卡上、能装下的模型每秒能生成多少 token:按每张卡自己的实测跑分校准的估计值,以及显存带宽决定的上限。
- 选哪个量化
最常见几张卡上,每个推荐模型该下载哪个量化档位:所有档位在 4K 上下文下的显存,以及能从容装下的最高质量那一档。
- 能开多长上下文
最常见几张卡上,每个推荐模型能从容开到的最长上下文 —— 分别列出默认 fp16 KV 缓存,以及缓存量化为 q8_0、q4_0 后的结果。
- 报错速查
llama.cpp、Ollama、vLLM、ROCm 和 Docker 在模型加载失败或没用上显卡时打印的报错 —— 每条都从项目源码里逐字核对,并说明含义和解决办法。