极客前沿

本地运行AI模型入门:Ollama安装与第一次调用

2026-06-25 01:35
DEV Ollama
查看原文

从零开始,用Ollama在本地电脑上运行AI模型,无需联网,保护隐私。

很多朋友想试试AI,但又担心数据上传到云端不安全,或者不想每月付费。其实,你完全可以在自己的电脑上运行AI模型,免费、离线、隐私安全。本文带你一步步安装Ollama(一个让你在本地轻松运行大语言模型的工具),并完成第一次调用。

Tutorial Image

准备工作

  • 一台电脑:Windows、macOS 或 Linux 都可以。
  • 至少 8GB 内存(推荐 16GB 以上,模型运行更流畅)。
  • 如果电脑有独立显卡(NVIDIA 或 AMD),效果更好;没有也能用,只是慢一些。

安装步骤

  1. 打开浏览器,访问 Ollama 官网:https://ollama.com
  2. 点击“Download”按钮,根据你的操作系统下载安装包。
  3. 下载完成后,双击安装(Windows 用户可能需要允许管理员权限)。
  4. 安装完成后,打开终端(Windows 叫命令提示符或 PowerShell,Mac/Linux 叫终端)。
  5. 在终端中输入以下命令并回车,下载一个轻量模型(比如llama3.2:1B参数,适合入门):
    ollama pull llama3.2:1b
  6. 等待下载完成(根据网速可能几分钟)。

验证是否成功

  1. 在终端中运行命令:
    ollama run llama3.2:1b
  2. 看到类似 >>> Send a message 的提示,说明模型已启动。
  3. 输入一句话,比如“你好,请介绍一下自己”,按回车。模型会回复你。
  4. 如果想退出,输入 /bye 并回车。

下一步可以做什么

  • 用 Python 调用本地模型:安装 requests 库(pip install requests),然后写几行代码就能通过 API 访问模型。示例代码:
    import requests
    response = requests.post('http://localhost:11434/api/generate', json={'model': 'llama3.2:1b', 'prompt': '你好'})
    print(response.text)
  • 尝试其他模型:在 Ollama 模型库 中搜索,用 ollama pull 模型名 下载。
  • 如果遇到“模型响应慢”,可以试试更小的模型(如 tinyllama)或者关闭其他占用内存的程序。

内容来源

DEV Ollama

发布时间

2026-06-25 01:35

返回 AI技术