极客前沿

新手必看:一步步搭建本地 AI 聊天工具

2026-05-21 01:32
DEV Ollama
查看原文

零基础学会安装 Ollama 和 OpenBench,在电脑上运行本地 AI 模型,无需联网。

你是不是也想试试本地运行 AI 模型,但又怕安装太复杂?别担心,今天这篇文章会带你一步步搞定。我们要用到的工具是 Ollama(一个让你在电脑上运行 AI 模型的软件)和 OpenBench(一个桌面聊天界面,让你像用 ChatGPT 一样和本地模型对话)。整个过程不需要写代码,也不需要懂 Docker 或 Python。

第一步:安装 Ollama

Ollama 是运行模型的核心工具。去 ollama.com 下载对应你操作系统的版本(Windows、macOS 或 Linux)。安装后,打开终端(Windows 用户用命令提示符或 PowerShell),输入以下命令测试是否成功:

  • 输入 ollama --version,如果显示版本号,说明安装成功。
  • 然后下载一个模型试试,比如 ollama pull llama3.2(这是 Meta 的轻量模型,适合新手)。下载需要几分钟,取决于你的网速。

常见坑:如果提示“ollama 不是内部或外部命令”,可能是没添加到环境变量。重新安装时勾选“添加到 PATH”即可。

第二步:下载并运行 OpenBench

OpenBench 是一个漂亮的聊天界面,让你不用敲命令就能和模型对话。

Tutorial Image
  • GitHub Releases 页面 下载最新版本的安装包(选你系统对应的文件,Windows 选 .exe,macOS 选 .dmg)。
  • 安装后打开,它会自动检测到你已经安装的 Ollama。
  • 在设置里可以管理模型:点“安装模型”,输入你想要的模型名称(比如 llama3.2),就能直接下载,不用再开终端。

常见坑:如果 OpenBench 提示“无法连接 Ollama”,请确保 Ollama 正在后台运行(Windows 右下角托盘有图标)。

第三步:开始你的第一次对话

现在一切就绪,我们来跑通第一次对话。

  • 在 OpenBench 左侧选择你下载的模型(比如 llama3.2)。
  • 在输入框里打字,比如“你好,介绍一下你自己”,然后按回车。
  • 模型会开始回答,速度取决于你的电脑配置(建议至少 8GB 内存)。

你还可以同时开多个模型,对比它们的回答——这在选择哪个模型更适合你的任务时特别有用。

下一步可以做什么

  • 试试其他模型:在 Ollama 官网搜索更多模型,比如 mistralphi,用 ollama pull 模型名 下载。
  • 临时聊天:OpenBench 支持临时聊天,关闭应用后自动消失,适合测试敏感问题。
  • 调整参数:在设置里可以调整温度(Temperature),影响回答的随机性。

恭喜!你已经成功在本地运行了 AI 模型,从此可以离线使用,数据也不会传到云端。享受吧!

内容来源

DEV Ollama

发布时间

2026-05-21 01:32

返回 AI技术