新手必看:一步步搭建本地 AI 聊天工具
零基础学会安装 Ollama 和 OpenBench,在电脑上运行本地 AI 模型,无需联网。
你是不是也想试试本地运行 AI 模型,但又怕安装太复杂?别担心,今天这篇文章会带你一步步搞定。我们要用到的工具是 Ollama(一个让你在电脑上运行 AI 模型的软件)和 OpenBench(一个桌面聊天界面,让你像用 ChatGPT 一样和本地模型对话)。整个过程不需要写代码,也不需要懂 Docker 或 Python。
第一步:安装 Ollama
Ollama 是运行模型的核心工具。去 ollama.com 下载对应你操作系统的版本(Windows、macOS 或 Linux)。安装后,打开终端(Windows 用户用命令提示符或 PowerShell),输入以下命令测试是否成功:
- 输入
ollama --version,如果显示版本号,说明安装成功。 - 然后下载一个模型试试,比如
ollama pull llama3.2(这是 Meta 的轻量模型,适合新手)。下载需要几分钟,取决于你的网速。
常见坑:如果提示“ollama 不是内部或外部命令”,可能是没添加到环境变量。重新安装时勾选“添加到 PATH”即可。
第二步:下载并运行 OpenBench
OpenBench 是一个漂亮的聊天界面,让你不用敲命令就能和模型对话。
- 去 GitHub Releases 页面 下载最新版本的安装包(选你系统对应的文件,Windows 选 .exe,macOS 选 .dmg)。
- 安装后打开,它会自动检测到你已经安装的 Ollama。
- 在设置里可以管理模型:点“安装模型”,输入你想要的模型名称(比如
llama3.2),就能直接下载,不用再开终端。
常见坑:如果 OpenBench 提示“无法连接 Ollama”,请确保 Ollama 正在后台运行(Windows 右下角托盘有图标)。
第三步:开始你的第一次对话
现在一切就绪,我们来跑通第一次对话。
- 在 OpenBench 左侧选择你下载的模型(比如 llama3.2)。
- 在输入框里打字,比如“你好,介绍一下你自己”,然后按回车。
- 模型会开始回答,速度取决于你的电脑配置(建议至少 8GB 内存)。
你还可以同时开多个模型,对比它们的回答——这在选择哪个模型更适合你的任务时特别有用。
下一步可以做什么
- 试试其他模型:在 Ollama 官网搜索更多模型,比如
mistral、phi,用ollama pull 模型名下载。 - 临时聊天:OpenBench 支持临时聊天,关闭应用后自动消失,适合测试敏感问题。
- 调整参数:在设置里可以调整温度(Temperature),影响回答的随机性。
恭喜!你已经成功在本地运行了 AI 模型,从此可以离线使用,数据也不会传到云端。享受吧!
内容来源
DEV Ollama
发布时间
2026-05-21 01:32