极客前沿

零基础入门:在本地跑通 AI 模型,只需一个 Python 文件

2026-05-27 01:31
DEV Ollama
查看原文

学会安装 Ollama、用 Python 调用本地大模型,并运行一个无需任何依赖的 AI 对比工具。

准备环境:安装 Ollama 和 Python

首先,你需要一个能运行 AI 模型的工具。Ollama 是一个让你在本地电脑上轻松运行大模型(比如 Llama、Mistral)的免费软件。就像安装普通软件一样,去 ollama.com 下载对应你操作系统的版本(Windows、macOS、Linux 都支持),然后双击安装即可。

另外,你的电脑需要 Python(一种编程语言)。大多数系统自带 Python,你可以在终端或命令提示符里输入 python --version 检查。如果没有,就去 python.org 下载并安装。建议选择 Python 3.8 以上版本。

Tutorial Image

安装步骤:下载模型并运行

  1. 安装好 Ollama 后,打开终端(Windows 叫命令提示符或 PowerShell),输入 ollama pull llama3.2 并回车。这会下载一个叫 Llama 3.2 的模型,大小约 2GB,需要等几分钟。你也可以换成其他模型,比如 mistralqwen2.5
  2. 下载完成后,输入 ollama run llama3.2 就能跟模型聊天了。试试问它“什么是 AI?”,它会实时生成回答。
  3. Ctrl+D 或输入 /bye 退出聊天。

验证是否成功:运行你的第一个 AI 工具

现在我们来跑一个用 Python 写的 AI 对比工具,它不需要安装任何额外包(零依赖)。

  1. 创建一个新文件,比如 prompter.py,把下面的代码贴进去:
import urllib.request, json, curses, re

def query_model(model, prompt):
    data = json.dumps({'model': model, 'prompt': prompt, 'stream': False}).encode()
    req = urllib.request.Request('http://localhost:11434/api/generate', data=data)
    with urllib.request.urlopen(req) as resp:
        return json.loads(resp.read())['response']

print(query_model('llama3.2', '你好,世界!'))
  1. 在终端里运行 python prompter.py,如果看到模型回答“你好!世界!”,说明一切成功!
  2. 如果你想体验多模型对比,可以去 GitHub 项目地址 下载完整的 TUI 工具(一个文件),然后用 python prompter.py 启动。你会看到一个漂亮的字符界面,可以同时让多个模型回答同一个问题,并实时看到它们的输出速度。

下一步可以做什么

  • 试试更换不同的模型:用 ollama pull mistral 下载 Mistral,然后修改代码中的模型名。
  • 了解 API(应用程序接口):Ollama 提供了 HTTP API,你可以在任何编程语言中调用它,就像上面的 Python 代码一样。
  • 探索更多功能:这个工具还支持模型自我审查、多角色辩论等高级模式,等你熟悉后再尝试。

内容来源

DEV Ollama

发布时间

2026-05-27 01:31

返回 AI技术