一、准备环境：Ollama 是什么？

Ollama 是一个让你在本地电脑上运行 AI 模型的工具，不需要联网、不需要 GPU。它支持 Windows、macOS、Linux，下载后就能用。

二、安装步骤

1. 打开 Ollama 官网（ollama.com），下载对应操作系统的安装包。
2. 安装完成后，打开终端（命令提示符），输入 ollama serve 启动服务。默认监听 http://127.0.0.1:11434。
3. 下载一个轻量模型：在终端输入 ollama pull phi3。Phi-3 是微软推出的开源模型，内存占用约 2GB，适合新手。
4. 验证是否成功：打开浏览器访问 http://127.0.0.1:11434，如果显示 Ollama is running 就 OK。

三、用 Python 调用本地的 AI

• 安装 Python（推荐 3.10 以上）和 requests 库：pip install requests。
• 创建一个 Python 文件，比如 agent.py，写入以下代码：

import requests

def chat_with_ai(prompt):
    url = "http://127.0.0.1:11434/api/chat"
    payload = {
        "model": "phi3",
        "messages": [{"role": "user", "content": prompt}],
        "stream": False
    }
    response = requests.post(url, json=payload)
    return response.json()["message"]["content"]

print(chat_with_ai("你好，请用一句话介绍自己"))

• 运行 python agent.py，如果看到 AI 回复，说明调用成功。

四、暴露成 API：使用 FastAPI

• 安装 FastAPI 和 uvicorn：pip install fastapi uvicorn。
• 创建一个 main.py：

from fastapi import FastAPI
import requests

app = FastAPI()

def call_ollama(prompt):
    url = "http://127.0.0.1:11434/api/chat"
    payload = {
        "model": "phi3",
        "messages": [{"role": "user", "content": prompt}],
        "stream": False
    }
    resp = requests.post(url, json=payload)
    return resp.json()["message"]["content"]

@app.get("/ask")
def ask(q: str = "你好"):
    return {"reply": call_ollama(q)}

• 启动：uvicorn main:app --reload。
• 打开浏览器访问 http://127.0.0.1:8000/ask?q=今天天气如何，就能看到 AI 回复。

五、常见坑与下一步

• 如果报错 Connection refused，检查 Ollama 服务是否在运行。
• 如果模型回复很慢，可以加 --cpu 参数强制用 CPU 推理。
• 想部署到生产环境？把 Ollama 和 FastAPI 分别放在不同的 Docker 容器里，用 Docker Compose 管理。