极客前沿

AI 入门:本地跑通大模型,一步步安装教程

2026-07-23 01:36
DEV Ollama
查看原文

读完本文,零基础也能学会安装本地大模型工具,并成功运行第一个 AI 对话。

准备环境:你需要什么?

在开始之前,先确认你的电脑满足基本条件:

  • 操作系统:Windows、macOS 或 Linux 均可,但不同工具支持不同系统。
  • 硬件:至少 8GB 内存,推荐 16GB 以上;如果有 NVIDIA 显卡(显存 4GB+)会更快,但不是必须。
  • 网络:需要下载软件和模型文件(模型通常几 GB 大小)。

安装步骤:从零到能聊天

我们选择最简单、适合新手的工具——Ollama(一个让你用一条命令就能运行大模型的工具)。

Tutorial Image
  1. 打开浏览器,访问 ollama.com,点击下载对应你系统的安装包。
  2. 安装后,打开终端(Windows 用命令提示符或 PowerShell,macOS/Linux 用终端)。
  3. 输入命令:ollama run llama3.2(这是 Meta 发布的小模型,适合入门)。
  4. 首次运行会自动下载模型(约 2GB),等待下载完成。
  5. 下载完成后,终端会出现提示符,直接输入你的问题,比如“你好,介绍一下自己”,AI 就会回答。

常见坑提醒:如果下载慢,可以尝试更换网络或使用镜像站;如果内存不足,可以选更小的模型如 tinyllama(1.1B 参数)。

验证是否成功:跑通第一个对话

看到 AI 回复你的问题,就说明成功了!你可以继续问:“什么是大模型?” 它会用简单语言解释。如果想退出对话,输入 /bye 即可。

下一步可以做什么?

  • 尝试其他模型:比如 ollama run gemma:2b(Google 的小模型)。
  • 使用图形界面:下载 LM Studio(一个带图形界面的工具),拖拽模型文件就能聊天,更直观。
  • 学习调用 API:Ollama 内置了兼容 OpenAI 的 API,你可以在代码中调用它,比如用 Python 写个聊天机器人。

内容来源

DEV Ollama

发布时间

2026-07-23 01:36

返回 AI技术