极客前沿

AI 入门:本地运行开源大模型的完整指南

2026-05-09 01:30
freeCodeCamp
查看原文

学会下载、安装和运行开源大模型,从零开始跑通你的第一个 AI 程序。

什么是开源大模型?

开源大模型(如 GemmaKimmy)是公开可用的 AI 模型,任何人都可以下载并在自己的电脑上运行。与 ChatGPT 等云端服务不同,开源模型让你拥有完全控制权,且无需联网。本教程将教你如何安装和运行这些模型。

Tutorial Image

准备工作:你需要什么?

  • 一台电脑(Windows / macOS / Linux 均可)
  • 至少 8GB 内存(推荐 16GB 以上)
  • 显卡(GPU)可选,但能加速运行。如果没有,CPU 也能跑,只是慢一些
  • 安装 Python(一种编程语言,很多 AI 工具依赖它):从 python.org 下载最新版,安装时勾选“Add Python to PATH”

安装步骤

  1. 打开终端(Windows 用户打开“命令提示符”或 PowerShell)
  2. 输入以下命令安装 Ollama(一个简单易用的开源模型运行工具):
    curl -fsSL https://ollama.com/install.sh | sh(macOS/Linux)或从 ollama.com 下载 Windows 安装包
  3. 安装完成后,在终端输入 ollama pull gemma:2b 下载一个轻量级模型(约 1.5GB)
  4. 等待下载完成,然后输入 ollama run gemma:2b 启动模型

验证是否成功

当看到 >>> 提示符时,输入“Hello, who are you?”并按回车。如果模型回复了一段自我介绍,说明安装成功!输入 /exit 退出。

Tutorial Image

常见坑提醒:如果下载很慢,请检查网络连接;如果报错“命令未找到”,确认 Python 和 Ollama 已正确安装并添加到 PATH。

下一步可以做什么?

  • 尝试其他模型:ollama pull llama3.2ollama pull phi
  • 在代码中调用模型:使用 Python 的 requests 库发送 HTTP 请求到 Ollama 的 API(默认地址 http://localhost:11434
  • 探索更复杂的任务:让模型写代码、翻译、总结文章等

内容来源

freeCodeCamp

发布时间

2026-05-09 01:30

返回 AI技术