极客前沿

AnythingLLM 连不上 Ollama?5 个新手也能搞定的小修复

2026-07-21 01:31
DEV Ollama
查看原文

教你解决 AnythingLLM 找不到 Ollama 模型的常见问题,让 AI 对话跑起来。

刚装好 AnythingLLM 和 Ollama,想和本地 AI 聊聊天,结果发现模型列表是空的,或者一直转圈提示“loading available models”?别慌,这通常不是模型坏了,而是两个软件之间没“对上话”。下面按出现频率从高到低,带你一步步排查。

1. 确认 Ollama 是否在运行

AnythingLLM 是通过 HTTP 请求和 Ollama 通信的,如果 Ollama 没启动,AnythingLLM 自然找不到模型。

Tutorial Image
  • 打开终端(Windows 用命令提示符或 PowerShell,Mac 用“终端”App),输入:curl http://127.0.0.1:11434,然后回车。
  • 如果返回“Ollama is running”,说明 Ollama 已启动。
  • 如果返回空或报错,说明 Ollama 没运行。去你的应用程序列表或菜单栏找到 Ollama 图标,点击启动。

小提示:Ollama 桌面版和 ollama serve 命令不能同时运行,否则会冲突。保留一个就好,通常桌面版更方便。

2. 检查 Ollama 的监听地址

Ollama 默认只监听 127.0.0.1(也就是本机地址),这可能导致 Docker 版 AnythingLLM 连不上。如果你用的是 Docker 安装 AnythingLLM,需要让 Ollama 监听所有网络接口。

Tutorial Image
  • 在终端设置环境变量:export OLLAMA_HOST=0.0.0.0(Windows 用 set OLLAMA_HOST=0.0.0.0
  • 然后重启 Ollama。

这样 Ollama 就能接受来自 Docker 容器的连接了。

3. 为 Docker 版 AnythingLLM 配置正确地址

如果你用 Docker 运行 AnythingLLM,在设置 Ollama LLM 提供者时,Ollama Base URL 不能填 localhost127.0.0.1,因为容器里的 localhost 指的是容器自己,不是你的电脑。

Tutorial Image
  • 正确填法:http://host.docker.internal:11434
  • 这个地址会指向你电脑上的 Ollama 服务。

注意:Windows 和 Mac 需要 Docker Desktop v18.03+,Linux 需要 Docker v20.10+ 才能使用 host.docker.internal

4. 检查端口是否被占用

如果 Ollama 启动失败,可能是端口 11434 已被其他程序占用。在终端输入:lsof -nP -iTCP:11434 -sTCP:LISTEN(Mac/Linux)或 netstat -ano | findstr :11434(Windows),看看谁在用这个端口。如果是其他程序,关闭它或让 Ollama 换个端口。

5. 重启一切

如果以上都试过了还没好,最简单的办法:完全退出 AnythingLLM 和 Ollama,然后先启动 Ollama,再启动 AnythingLLM。很多时候重启就能解决。

搞定!现在你应该能看到模型列表,可以开始和 AI 聊天了。如果还不行,检查一下模型是否真的下载了(终端输入 ollama list 查看)。

内容来源

DEV Ollama

发布时间

2026-07-21 01:31

返回 AI技术