极客前沿

AI 入门:Ollama 安装与第一次跑通教程

2026-07-10 01:32
DEV Ollama
查看原文

从零开始:安装 Ollama,下载模型,第一次运行 AI,并了解 GPU 注意事项。

想试试本地运行 AI 模型,但不知道从哪里开始?这篇教程带你一步步完成:安装 Ollama(一个让本地跑大模型变得简单的工具)、下载模型、第一次运行,并简单了解硬件注意事项。

Tutorial Image

准备工作

  • 一台电脑,建议有 NVIDIA 显卡(图形处理器,用于加速 AI 计算),显存至少 8GB。
  • 系统可以是 Windows、macOS 或 Linux。
  • 下载 Ollama 安装包:访问 ollama.com,点击 Download 按钮。

安装步骤

  1. 运行下载的安装程序,按照提示完成安装(Windows 和 macOS 是图形界面,Linux 用命令行)。
  2. 打开终端(Windows 是 PowerShell 或 CMD,macOS/Linux 是 Terminal)。
  3. 输入 ollama --version,如果看到版本号,说明安装成功。
  4. 下载一个模型:输入 ollama pull qwen3-coder:30b(这是一个 30B 参数的代码模型,适合入门)。注意:下载需要时间,请保持网络畅通。

验证是否成功

  • 下载完成后,输入 ollama run qwen3-coder:30b,稍等几秒就会进入对话界面。
  • 输入“你好”或“写一段 Python 代码”,看模型是否回复。如果正常回复,说明环境配置成功。
  • 如果报错“CUDA error”或“out of memory”,说明显存不足或显卡太老。建议换小模型,例如 ollama pull qwen2.5:7b

下一步可以做什么

  • 尝试其他模型:访问 ollama.com/library 浏览和下载更多模型。
  • 了解 上下文长度(模型能“记住”的文本量):默认是 8K tokens,可以用 --num-ctx 32768 参数增加,但会消耗更多显存。
  • 注意:如果电脑有多个显卡,旧显卡可能反而拖慢速度。建议只用主显卡。

内容来源

DEV Ollama

发布时间

2026-07-10 01:32

返回 AI技术