开始之前
一张 16GB 版的 RTX 4060 Ti —— 不是同名的 8GB 版，对本文的用途来说那是另一台机器。一个较新的 NVIDIA 驱动，以及 Ollama（最省事）或 llama.cpp 的 CUDA 构建。本文不需要超过 16GB 系统内存，因为权重都在显卡上。
# Confirm you have the 16GB card, not the 8GB one
nvidia-smi --query-gpu=name,memory.total --format=csv关于这张卡的实话
容量宽裕，带宽不宽裕。本索引中有 51 个模型能在 4K 上下文下从容装进这张卡，60 个至少能加载 —— 这份清单和 16GB 的 RTX 4080 Super 完全相同，但 4060 Ti 读取权重的速度是 288 GB/s，而那张卡是 736。每生成一个 token 都要把全部权重读一遍，所以吞吐上限大约只有同一个文件在快卡上的三分之一。选模型时要按这一点来预期，而不是按容量。
值得从这三个开始
Qwen3 14B 在 Q4_K_M 下 4K 上下文需要 10.0 GB，相对 FP16 损失 2.6% 困惑度 —— 通用场景最合适，还剩 6 GB 给更长的窗口。GPT-OSS 20B 需要 12.8 GB：它是 MoE 模型，每个 token 只读取一部分权重，实际速度比体积暗示的更快，而且它的 4-bit 权重就是发布出来的检查点，不是转换来的。Mistral Small 24B 在 AWQ INT4 下是这张卡能装下的最大模型，13.2 GB —— 占满显存的 83%，几乎没有余量留给上下文。
ollama pull qwen3:14b
ollama run qwen3:14b确认它真的跑在 GPU 上
这一步最容易被跳过。Ollama 和 llama.cpp 在某一层放不下时都会静默回落到 CPU，唯一的症状就是「怎么这么慢」。生成过程中盯着显卡看：显存占用应当上升约等于模型体积的量，利用率应当很高而不是接近零。
# While a prompt is generating, in a second terminal:
nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv -l 1
# llama.cpp prints the split at load time — every layer should be on the GPU:
# load_tensors: offloaded 41/41 layers to GPU数字大概该是什么样
在 288 GB/s 下，Qwen3 14B 的 Q4_K_M 权重是 8.5 GB，硬上限约 34 tok/s —— 这是两个公开数字的算术结果，不是跑分，实际吞吐会低于它。如果一个明明装得下的模型只有个位数的速度，那你是在用 CPU 跑。另一个要盯的数字是显存：Qwen3 14B 从 4K 时的 10.0 GB 涨到 16K 的 12.1 GB、32K 的 14.9 GB。权重没变，涨的是 KV 缓存。
出问题时
此前能用的上下文长度突然爆显存：涨的是 KV 缓存不是模型 —— 缩短窗口或降一档量化。速度很慢而 nvidia-smi 显示利用率很低：有层被放到了 CPU 上，减少 offload 层数直到完全装下，或换更小的量化档位。30B 模型加载不了：Qwen3 30B-A3B 需要 19.7 GB，比这张卡多 3.7 GB —— 把一部分卸载到系统内存确实能加载，但速度由你的内存条决定，那是另一台机器，不是换个更小的量化档位。还有，Windows 上 NVIDIA 控制面板的「系统内存回退」会把超出的显存静默溢出到系统内存而不是报错：这会把一个明确的 OOM 变成一个莫名其妙很慢的模型，测量时请把它关掉。
常见问题
16GB 的 RTX 4060 Ti 适合跑本地大模型吗？
就容量而言适合 —— 本索引中有 52 个模型能在 4K 上下文下从容装进它，包括 Q4_K_M 的 14B 模型并且还有余量。就速度而言，它是本站收录的 16GB 显卡里最慢的一张：288 GB/s，而装着完全相同模型的 RTX 4080 Super 是 736。它适合「慢慢地跑大模型」，不适合「快快地跑小模型」。
RTX 4060 Ti 16G 能跑 30B 的模型吗？
不能完全放在显卡上。Qwen3 30B-A3B 在 Q4_K_M、4K 上下文下约需 19.7 GB，比这张卡多 3.7 GB。真正能从容装下的最大模型是 AWQ INT4 的 Mistral Small 24B，13.2 GB。把模型拆在显存和系统内存之间是可行的，但速度由慢的那一半决定。
14B 模型大概能跑多少 tok/s？
本索引没有这张卡的实测记录，因此不公布具体数字。规格允许的上限是：Qwen3 14B 的 Q4_K_M 权重为 8.5 GB，而这张卡带宽 288 GB/s，所以生成速度不可能超过约 34 tok/s，实际会更低。一个装得下的模型却只有个位数速度，说明有层跑在 CPU 上。
这篇指南用到了什么
- 对应推荐
- 16GB 能跑的最好的本地大模型
接下来
看看 🟢 RTX 4060 Ti 16G 还能跑哪些模型反向查询 —— 16GB、8192 上下文，按质量排序本文涉及的模型
它真的跑起来了吗？
复制命令并不等于它能用，所以站内只在这里问一次。除了你的这个回答之外，不收集任何东西。