工具
四个计算与生成工具,以及它们背后的两个索引。这些工具给出的每一个数字都由本站模型索引计算得出,不是手写的。
- 显存计算器
估算任意量化 LLM 的显存占用:模型权重、KV 缓存与激活缓冲,并对数据库中每一张显卡逐一给出裁决。
- 脚本生成器
为索引内任意模型生成可直接运行的 llama.cpp、Ollama、vLLM 与 ExLlamaV2 命令,含 Docker 与 Compose 版本。
- 格式向导
回答三个关于硬件与优先级的问题,得到一组真正能协同工作的量化格式、运行时与量化档位。
- 模型对比
将两个量化模型并排对比:参数量、上下文、在你选定上下文下的显存、速度与质量损失。