极客前沿

一步步教你用 Ollama 和 Llama 3.1 搭建本地聊天机器人

2026-07-10 01:33
DEV Ollama
查看原文

从零开始,学会安装 Ollama、下载 Llama 3.1 模型,并用 Python 调用本地 API 实现对话。

准备环境:你需要什么?

在开始之前,确保你的电脑能联网,并且有 Python 3.8 或更高版本(Python 是一种编程语言,用来写代码)。如果你还没装 Python,可以去 python.org 下载安装包,安装时记得勾选“Add Python to PATH”。

安装 Ollama:本地运行 AI 模型的工具

Ollama 是一个让你在电脑上轻松运行大语言模型(比如 Llama 3.1)的免费工具。它把复杂的模型部署简化成了几个命令。

Tutorial Image
  1. 打开浏览器,访问 ollama.com,下载对应你操作系统的安装包(Windows、macOS 或 Linux)。
  2. 安装完成后,打开终端(Windows 是命令提示符或 PowerShell,Mac 是终端应用)。
  3. 在终端输入以下命令并回车,下载 Llama 3.1 模型(Llama 3.1 是一个能理解并生成文本的 AI 模型,类似 ChatGPT 的大脑):
    ollama pull llama3.1
    等待下载完成(可能需要几分钟到十几分钟,取决于你的网速)。
  4. 输入 ollama run llama3.1 测试是否成功。如果看到类似“>>>”的提示符,说明可以开始对话了!输入“Hello”试试,然后输入 /bye 退出。

用 Python 调用本地聊天机器人

现在我们要用 Python 写一个简单的程序,通过 API(应用程序接口,可以理解为程序之间沟通的通道)调用 Ollama 里的模型。

  1. 在终端安装 Python 的 requests 库(用来发送网络请求):
    pip install requests
  2. 新建一个文本文件,命名为 chatbot.py,用记事本或任何代码编辑器打开,粘贴以下代码:
    import requests
    
    url = "http://localhost:11434/api/generate"
    data = {
        "model": "llama3.1",
        "prompt": "你好,请用中文回答:什么是人工智能?",
        "stream": False
    }
    response = requests.post(url, json=data)
    print(response.json()["response"])
  3. 保存文件,回到终端,运行:
    python chatbot.py
    如果看到一段中文回答,说明你的本地聊天机器人跑通了!

常见问题与下一步

  • 报错“Connection refused”:确保 Ollama 正在运行。可以打开 Ollama 桌面应用,或在终端输入 ollama serve 启动服务。
  • 模型回答很慢:首次运行需要加载模型到内存,之后会快一些。如果电脑配置较低,可以尝试更小的模型如 llama3.2:1b(1B 参数版本)。
  • 下一步可以做什么? 试着修改 prompt 里的问题,或者写一个循环让用户持续输入对话。你还可以用 Ollama API 文档 探索更多功能。

内容来源

DEV Ollama

发布时间

2026-07-10 01:33

返回 AI技术