入门端侧 / 本地 6 分钟阅读

Windows 原生 Ollama（不用 WSL）

安装 Windows 版 Ollama 最简单 — NVIDIA 可用 GPU；AMD 目前仅 CPU。

已验证技术栈

Windows 11 · Ollama 原生安装包 · NVIDIA 自动 GPU · API :11434

最近验证 2026-07-22

WindowsOllamaNVIDIADesktop

安装

从 ollama.com 下载安装包。以后台服务运行，自动检测 NVIDIA 显卡，无需单独装 CUDA toolkit。

powershell
# Download from https://ollama.com/download/windows
# Or winget:
winget install Ollama.Ollama

# Verify service
ollama --version
ollama list

何时改用 WSL

快速对话和 Open WebUI 用原生版即可。需要 llama.cpp 自定义编译、ExLlamaV2 或精细 CUDA 控制时改用 WSL2。

text
Native Windows Ollama:
  ✓ One-click install
  ✓ NVIDIA GPU acceleration
  ✓ OpenAI-compatible API at :11434

Use WSL2 instead for:
  → ExLlamaV2 / EXL2 quants
  → Custom llama.cpp flags
  → vLLM / TabbyAPI

相关指南

进阶端侧 / 本地10 分钟阅读

Windows WSL2 + Ollama GPU 透传

在 WSL2 内用 NVIDIA GPU 加速运行 Ollama — Windows 本地 LLM 最稳妥的路线。

入门端侧 / 本地9 分钟阅读

Windows + CUDA 运行 llama.cpp

Windows 11 上编译带 NVIDIA GPU 支持的 llama.cpp — PC 玩家的最简路径。

入门端侧 / 本地8 分钟阅读

8GB 显卡入门指南：3060 / 4060 / 3070

最常见的本地 LLM 硬件档位 — 8GB 显存能跑哪些模型、量化和上下文长度。

部署指南仅供学习参考。每个模型均有独立许可协议 — 下载或部署前请阅读 Hugging Face 官方模型卡。