准备环境

你需要一台能联网的电脑（Windows / macOS / Linux 皆可），并安装 Docker Desktop（一个帮你运行容器化应用的工具）。从官网下载安装后，打开 Docker 并确保它正常运行。

安装步骤

1. 安装 Ollama：Ollama 是一个让你在本地运行大模型（如 Llama、Mistral）的工具。去 ollama.com 下载并安装。安装后打开终端（命令提示符），输入 ollama run llama3.2，等待下载完成即可对话。这是你的第一个本地模型！
2. 安装 Open WebUI：这是一个图形界面，让你像用 ChatGPT 一样用本地模型。打开终端，运行：docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --name open-webui --restart always ghcr.io/open-webui/open-webui:main。耐心等待下载。
3. 配置 Open WebUI 连接 Ollama：在终端运行 docker logs open-webui 查看日志，确认无报错。然后打开浏览器，访问 http://localhost:3000，注册第一个账号（管理员）。进入设置，确保 OLLAMA_BASE_URL 指向 http://host.docker.internal:11434（Mac 用户）或 http://localhost:11434（Linux/Windows 用户）。

验证是否成功

在 Open WebUI 的聊天框里输入问题，比如“写一首关于春天的诗”。如果模型回复了，恭喜你！你已经成功跑通了本地 LLM。你可以在管理面板里禁用公开注册，手动添加团队成员账号，并控制每个人能用的模型（比如给新手用 7B 小模型，给高级用户用 70B 大模型）。

下一步可以做什么

• 让模型联网：在 Open WebUI 设置中开启“网络搜索”功能，模型就能获取实时信息。
• 暴露给团队：如果你想让局域网内其他人访问，需要修改 Ollama 的环境变量 OLLAMA_HOST=0.0.0.0（Mac 用户在 ~/.zshrc 中添加，Windows 用户在系统环境变量中添加）。注意：千万不要直接暴露到公网，否则别人可能偷用你的 GPU！建议用反向代理加密码保护。
• 使用 OpenAI 兼容接口：你的本地模型提供了与 OpenAI 兼容的 API 地址 http://localhost:11434/v1/，可以配合 LangChain、Cursor 等工具使用。