极客前沿

AI 入门:本地装模型,零成本跑通第一次调用

2026-06-01 01:31
DEV Ollama
查看原文

学会在 Mac 上安装 Ollama,下载模型,并用 Python 调用本地 AI,零成本体验大模型。

想在自己的电脑上跑 AI 模型,不联网、不花钱?这篇教程带你从零开始,在 Mac 上安装 Ollama(一个帮你下载和运行 AI 模型的工具),下载一个模型,然后用 Python 调用它,完成第一次对话。

Tutorial Image

准备环境

  • 一台 Apple Silicon Mac(M1/M2/M3/M4 芯片,内存建议 8GB 以上)。
  • 确保电脑有至少 10GB 空闲硬盘空间(模型文件较大)。
  • 安装 Python 3.8+(如果没装,去 python.org 下载安装)。

安装步骤

  1. 下载并安装 Ollama:打开浏览器,访问 ollama.com,点击下载 Mac 版,然后像安装普通软件一样安装。
  2. 打开终端(在“启动台”搜索“终端”)。
  3. 下载一个模型:在终端中输入 ollama run llama3.1:8b,按回车。这会自动下载一个约 4.7GB 的模型,等待下载完成。(如果内存小于 8GB,可以换成 qwen2.5:7b 等更小的模型。)
  4. 测试模型:下载完成后,终端会进入对话模式。输入“你好”并按回车,模型会回复你。输入 /bye 退出。

用 Python 调用本地模型

  1. 安装 openai 库:在终端中执行 pip install openai
  2. 创建一个 Python 文件(比如 demo.py),复制以下代码:
    from openai import OpenAI
    
    client = OpenAI(
        base_url="http://localhost:11434/v1",
        api_key="ollama"  # 随便填,本地不需要
    )
    
    response = client.chat.completions.create(
        model="llama3.1:8b",
        messages=[
            {"role": "user", "content": "你好,请介绍一下你自己。"}
        ]
    )
    
    print(response.choices[0].message.content)
  3. 运行脚本:在终端中执行 python demo.py,几秒后你会看到模型的回复。

常见坑和下一步

  • 模型名称写错:确保 model 参数和你下载的模型名一致,比如 llama3.1:8b
  • Ollama 没启动:运行脚本前,确保 Ollama 在后台运行(Ollama 安装后默认开机自启)。
  • 内存不足:如果模型加载失败,尝试更小的模型(如 qwen2.5:7b)。

现在你已经成功在本地跑通了 AI 模型!下一步可以尝试多轮对话(在 messages 列表里添加更多轮次),或者换一个更大的模型(比如 gpt-oss:20b,需 16GB 以上内存)。记住,每次请求都是独立的,模型不记得之前的对话——你需要把整个对话历史都发过去。

内容来源

DEV Ollama

发布时间

2026-06-01 01:31

返回 AI技术