极客前沿

Ollama 入门:一步步搞定 GPU 加速,告别 CPU 龟速

2026-07-05 01:32
DEV Ollama
查看原文

学会安装 Ollama、配置 GPU 加速,并验证是否成功运行,适合零基础 AI 新手。

准备环境:你需要什么?

在开始之前,确保你的电脑满足以下条件:

Tutorial Image
  • NVIDIA 显卡:GTX 900 系列或更新(比如 RTX 3060),老显卡可能不支持。
  • 显卡驱动:版本 531 或更新。可以在 NVIDIA 官网下载安装。
  • Windows 用户注意:如果要用 WSL2(Windows 下的 Linux 子系统),请先装好 WSL2,不要在里面装 Linux 驱动,而是用 Windows 的驱动。

安装步骤:三步搞定

  1. 安装显卡驱动:去 NVIDIA 官网下载对应驱动并安装,重启电脑。
  2. 安装 Ollama:访问 ollama.com,下载对应系统版本(Windows 或 Linux)并安装。重要:如果先装了 Ollama 再装驱动,必须重装 Ollama,否则它找不到 GPU。
  3. 下载模型:打开终端(命令提示符或 PowerShell),输入 ollama pull llama3.1:8b,等待下载完成。这个模型是 Meta 的 Llama 3.1,8B 参数版本,适合 8GB 显存以上的显卡。

验证是否成功:检查 GPU 是否在用

运行一个模型,然后打开另一个终端窗口,输入 ollama ps。如果显示 100% CPU,说明 GPU 没被用上;如果显示 CPU/GPU 混合,说明显存不够,部分模型跑在 CPU 上。更准确的方法:在模型生成回答时,打开任务管理器或输入 nvidia-smi,看看有没有 pythonollama 进程占用了显存。如果有,GPU 加速成功;如果报错 command not found 或驱动通信失败,说明驱动有问题,回到第一步检查。

下一步可以做什么

  • 玩转模型:用 ollama run llama3.1:8b 启动对话,试试问它问题。
  • 调整参数:如果显存不够(比如 4GB 显卡),可以降低上下文长度:ollama run llama3.1:8b --num-ctx 2048,或者换更小的模型如 llama3.2:3b
  • 安装更多模型:在 Ollama 模型库 搜索你感兴趣的模型,比如 mistralqwen2.5

内容来源

DEV Ollama

发布时间

2026-07-05 01:32

返回 AI技术