极客前沿

AI 入门:本地跑通大模型,一步步装好 Ollama 和聊天工具

2026-05-21 01:32
DEV Ollama
查看原文

学会安装 Ollama 和 OpenBench,在本地运行大模型,无需联网,零基础也能上手。

准备环境:先装好 Ollama

要跑本地 AI,先得装一个叫 Ollama 的软件。简单说,它就像 AI 模型的“播放器”——帮你下载和管理模型,然后通过命令或接口调用。你不需要懂 Docker 或 Python,跟着下面几步走就行。

  • 打开浏览器,访问 ollama.com,点击下载对应你电脑系统的版本(Windows、macOS 或 Linux)。
  • 下载后双击安装,一路点“下一步”即可。装好后打开终端(Windows 用 PowerShell 或 CMD,Mac 用终端),输入 ollama --version,如果显示版本号,说明安装成功。
  • 接下来下载一个模型。在终端输入 ollama pull llama3.2(这是 Meta 出的一个小模型,跑起来快)。等待下载完成,期间保持网络畅通。

安装聊天工具:OpenBench

Ollama 本身没有图形界面,所以我们再装一个叫 OpenBench 的桌面聊天软件。它就像微信一样,你打字进去,AI 就能回复你。而且它支持同时和多个模型聊天,方便你对比不同模型的表现。

  • 去 OpenBench 的 GitHub 发布页(搜索“OpenBench releases”),找到最新版本,下载适合你系统的安装包(比如 .exe 或 .dmg)。
  • 双击安装,如果系统提示“不明开发者”,在 Mac 上可以去“系统偏好设置-安全性与隐私”中允许运行;Windows 可能弹出 SmartScreen,点“仍要运行”。
  • 装好后打开软件,它会自动检测到你之前装的 Ollama。如果没检测到,检查一下 Ollama 是否在后台运行。

第一次聊天:验证是否成功

现在你可以和本地 AI 聊天了!

Tutorial Image
  1. 在 OpenBench 界面左侧,应该能看到你已经下载的模型(比如 llama3.2)。点击模型名称,它就会加载。
  2. 在底部输入框里打字,比如“你好,请用中文回答我”,按回车。第一次回复可能稍慢(几秒到十几秒),之后会快很多。
  3. 如果想同时对比两个模型,点击界面上的“添加模型”按钮,再选另一个模型(比如 mistral),然后同一个问题会并排显示两个回复。

常见坑:如果模型没反应,检查 Ollama 是否在运行。Windows 可以在任务栏右下角找小羊驼图标;Mac 看菜单栏。如果还不行,重启 Ollama 和 OpenBench。

下一步可以做什么

你已经成功在本地跑通了 AI 模型!接下来可以:

  • 下载更多模型:在 OpenBench 里点击“安装模型”,直接搜索并下载,不用记命令。
  • 调整参数:比如在设置里改“温度”(控制回答的随机性),或者限制最大输出长度。
  • 用临时聊天:OpenBench 支持临时会话,关闭软件后自动消失,适合测试敏感问题。

本地 AI 的好处是隐私安全、不依赖网络,而且完全免费。希望这篇教程帮你顺利入门!

内容来源

DEV Ollama

发布时间

2026-05-21 01:32

返回 AI技术