极客前沿

AI 入门:手把手装好本地大模型,第一次跑通

2026-05-16 01:32
DEV Ollama
查看原文

零基础学会安装 Ollama、下载模型、运行你的第一个本地 AI,告别云端 API,免费且私密。

很多人想用 AI,但被云端 API 的付费和隐私问题劝退。其实你完全可以免费在自己电脑上跑模型,而且步骤很简单。这篇文章带你一步步装好环境,并跑通第一个对话。

Tutorial Image

1. 准备环境:你只需要一台电脑

  • 硬件:8GB 以上内存的电脑即可,有 NVIDIA 显卡(如 RTX 3060)效果更好,但不是必须。CPU 也能跑,只是慢一些。
  • 操作系统:Windows、macOS、Linux 都支持。本文以 Windows 为例。
  • 下载 Ollama:Ollama 是一个让你轻松运行本地模型的工具。去 ollama.com 点击 Download,选择对应系统版本安装。安装后打开终端(CMD 或 PowerShell)输入 ollama --version,看到版本号即成功。

2. 安装步骤:下载并运行你的第一个模型

  1. 打开终端(Windows 按 Win+R,输入 cmd 回车)。
  2. 输入 ollama pull qwen3.5:9b 并回车。这会下载一个 9B 参数的模型(约 5GB)。模型就是 AI 的大脑,参数越多越聪明,但需要更多内存。
  3. 等待下载完成(进度条走完)。如果网速慢,可以换用更小的模型,如 qwen3.5:4b(约 2.5GB)。
  4. 下载完成后,输入 ollama run qwen3.5:9b 并回车。你会看到一个 >>> 提示符,表示模型已启动。
  5. 试试输入 "你好" 或 "用 Python 写一个斐波那契数列",模型会回复你。恭喜,你已经跑通了本地 AI!

3. 验证是否成功:几个小测试

  • 对话测试:在 >>> 后输入任意问题,看是否正常回复。
  • 退出模型:输入 /bye 回车即可退出。
  • 查看已下载模型:输入 ollama list 能看到所有已安装的模型。
  • 常见坑:如果下载很慢,可以尝试切换网络或换用更小的模型。如果运行时报内存不足,关掉其他程序再试。

4. 下一步可以做什么?

  • 安装更多模型:去 ollama.com/library 浏览,用 ollama pull 模型名 下载。
  • 使用图形界面:下载 Open WebUI(一个漂亮的前端),通过 Docker 或直接安装,就能像 ChatGPT 一样在浏览器里用本地模型。
  • 集成到代码:Ollama 提供 API,你可以在 Python 等语言中调用它,实现自动化。

现在你已经拥有了一个完全免费、私密的 AI 助手。不用再担心 token 费用和数据泄露,尽情探索吧!

内容来源

DEV Ollama

发布时间

2026-05-16 01:32

返回 AI技术