零基础入门:在本地跑通 AI 模型,只需一个 Python 文件
学会安装 Ollama、用 Python 调用本地大模型,并运行一个无需任何依赖的 AI 对比工具。
准备环境:安装 Ollama 和 Python
首先,你需要一个能运行 AI 模型的工具。Ollama 是一个让你在本地电脑上轻松运行大模型(比如 Llama、Mistral)的免费软件。就像安装普通软件一样,去 ollama.com 下载对应你操作系统的版本(Windows、macOS、Linux 都支持),然后双击安装即可。
另外,你的电脑需要 Python(一种编程语言)。大多数系统自带 Python,你可以在终端或命令提示符里输入 python --version 检查。如果没有,就去 python.org 下载并安装。建议选择 Python 3.8 以上版本。
安装步骤:下载模型并运行
- 安装好 Ollama 后,打开终端(Windows 叫命令提示符或 PowerShell),输入
ollama pull llama3.2并回车。这会下载一个叫 Llama 3.2 的模型,大小约 2GB,需要等几分钟。你也可以换成其他模型,比如mistral或qwen2.5。 - 下载完成后,输入
ollama run llama3.2就能跟模型聊天了。试试问它“什么是 AI?”,它会实时生成回答。 - 按
Ctrl+D或输入/bye退出聊天。
验证是否成功:运行你的第一个 AI 工具
现在我们来跑一个用 Python 写的 AI 对比工具,它不需要安装任何额外包(零依赖)。
- 创建一个新文件,比如
prompter.py,把下面的代码贴进去:
import urllib.request, json, curses, re
def query_model(model, prompt):
data = json.dumps({'model': model, 'prompt': prompt, 'stream': False}).encode()
req = urllib.request.Request('http://localhost:11434/api/generate', data=data)
with urllib.request.urlopen(req) as resp:
return json.loads(resp.read())['response']
print(query_model('llama3.2', '你好,世界!'))- 在终端里运行
python prompter.py,如果看到模型回答“你好!世界!”,说明一切成功! - 如果你想体验多模型对比,可以去 GitHub 项目地址 下载完整的 TUI 工具(一个文件),然后用
python prompter.py启动。你会看到一个漂亮的字符界面,可以同时让多个模型回答同一个问题,并实时看到它们的输出速度。
下一步可以做什么
- 试试更换不同的模型:用
ollama pull mistral下载 Mistral,然后修改代码中的模型名。 - 了解 API(应用程序接口):Ollama 提供了 HTTP API,你可以在任何编程语言中调用它,就像上面的 Python 代码一样。
- 探索更多功能:这个工具还支持模型自我审查、多角色辩论等高级模式,等你熟悉后再尝试。
内容来源
DEV Ollama
发布时间
2026-05-27 01:31