Ollama 入门:一步步搞定 GPU 加速,告别 CPU 龟速
学会安装 Ollama、配置 GPU 加速,并验证是否成功运行,适合零基础 AI 新手。
准备环境:你需要什么?
在开始之前,确保你的电脑满足以下条件:
- NVIDIA 显卡:GTX 900 系列或更新(比如 RTX 3060),老显卡可能不支持。
- 显卡驱动:版本 531 或更新。可以在 NVIDIA 官网下载安装。
- Windows 用户注意:如果要用 WSL2(Windows 下的 Linux 子系统),请先装好 WSL2,不要在里面装 Linux 驱动,而是用 Windows 的驱动。
安装步骤:三步搞定
- 安装显卡驱动:去 NVIDIA 官网下载对应驱动并安装,重启电脑。
- 安装 Ollama:访问 ollama.com,下载对应系统版本(Windows 或 Linux)并安装。重要:如果先装了 Ollama 再装驱动,必须重装 Ollama,否则它找不到 GPU。
- 下载模型:打开终端(命令提示符或 PowerShell),输入
ollama pull llama3.1:8b,等待下载完成。这个模型是 Meta 的 Llama 3.1,8B 参数版本,适合 8GB 显存以上的显卡。
验证是否成功:检查 GPU 是否在用
运行一个模型,然后打开另一个终端窗口,输入 ollama ps。如果显示 100% CPU,说明 GPU 没被用上;如果显示 CPU/GPU 混合,说明显存不够,部分模型跑在 CPU 上。更准确的方法:在模型生成回答时,打开任务管理器或输入 nvidia-smi,看看有没有 python 或 ollama 进程占用了显存。如果有,GPU 加速成功;如果报错 command not found 或驱动通信失败,说明驱动有问题,回到第一步检查。
下一步可以做什么
- 玩转模型:用
ollama run llama3.1:8b启动对话,试试问它问题。 - 调整参数:如果显存不够(比如 4GB 显卡),可以降低上下文长度:
ollama run llama3.1:8b --num-ctx 2048,或者换更小的模型如llama3.2:3b。 - 安装更多模型:在 Ollama 模型库 搜索你感兴趣的模型,比如
mistral或qwen2.5。
内容来源
DEV Ollama
发布时间
2026-07-05 01:32