极客前沿

Ollama 入门:本地安装、运行 LLM 并调用 API

2026-06-23 01:32
DEV Ollama
查看原文

学会用 Ollama 在本地电脑上安装、运行大语言模型,并通过 API 调用,零基础也能上手。

准备工作:了解 Ollama 和 LLM

Ollama 是一个免费工具,能让你在本地电脑上运行 大语言模型(LLM)。LLM 就像个会说话的机器人,能回答问题、写文章。以往用 OpenAI 等云端服务,数据要传到网上,既花钱又有隐私风险。Ollama 让模型完全跑在你的电脑上,数据不外传,还省了按次收费的费用。

安装步骤:10 分钟搞定

  1. 下载安装包:打开 Ollama 官网,根据你的系统(Windows、macOS、Linux)下载对应版本。Windows 用户下载 .exe 文件,macOS 下载 .dmg,Linux 用户用命令行安装。
  2. 运行安装程序:双击安装文件,按提示完成安装。安装后 Ollama 会在后台自动启动,你不需要手动配置。
  3. 验证安装:打开终端(Windows 用 PowerShell 或 CMD),输入 ollama --version,如果显示版本号,说明安装成功。

下载并运行第一个模型

  1. 拉取模型:在终端输入 ollama pull llama3.2(或换成其他模型名,如 mistral)。这相当于从网上下载一个“机器人大脑”,需要几分钟到十几分钟,取决于网速。下载过程中会显示进度条。
  2. 开始对话:下载完成后,输入 ollama run llama3.2,出现 >> 提示符,你就可以直接打字和它聊天了!输入 /exit 退出。

小提醒:第一次运行会多花一点时间加载模型,之后会快很多。如果电脑配置不高(比如没有独立显卡),对话可能会有点慢,但依然可用。

Tutorial Image

通过 API 调用模型(进阶)

Ollama 自带 API(应用程序接口),让其他程序可以调用这个模型。默认地址是 http://localhost:11434。你可以用 Python 等语言发送请求,像这样:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "你好,你是谁?"
}'

返回的 JSON 里就包含了模型的回答。这样你就能把它集成到自己的聊天机器人或工具里了。

下一步可以做什么

  • 尝试其他模型:ollama pull mistralollama pull gemma:2b(更小更快)。
  • 查看所有已下载的模型:ollama list
  • 删除模型:ollama rm 模型名

现在你已经成功在本地跑起了 LLM,既省钱又保护隐私,可以尽情探索了!

内容来源

DEV Ollama

发布时间

2026-06-23 01:32

返回 AI技术