AI 入门:本地跑通大模型,一步步安装教程
读完本文,零基础也能学会安装本地大模型工具,并成功运行第一个 AI 对话。
准备环境:你需要什么?
在开始之前,先确认你的电脑满足基本条件:
- 操作系统:Windows、macOS 或 Linux 均可,但不同工具支持不同系统。
- 硬件:至少 8GB 内存,推荐 16GB 以上;如果有 NVIDIA 显卡(显存 4GB+)会更快,但不是必须。
- 网络:需要下载软件和模型文件(模型通常几 GB 大小)。
安装步骤:从零到能聊天
我们选择最简单、适合新手的工具——Ollama(一个让你用一条命令就能运行大模型的工具)。
- 打开浏览器,访问 ollama.com,点击下载对应你系统的安装包。
- 安装后,打开终端(Windows 用命令提示符或 PowerShell,macOS/Linux 用终端)。
- 输入命令:
ollama run llama3.2(这是 Meta 发布的小模型,适合入门)。 - 首次运行会自动下载模型(约 2GB),等待下载完成。
- 下载完成后,终端会出现提示符,直接输入你的问题,比如“你好,介绍一下自己”,AI 就会回答。
常见坑提醒:如果下载慢,可以尝试更换网络或使用镜像站;如果内存不足,可以选更小的模型如 tinyllama(1.1B 参数)。
验证是否成功:跑通第一个对话
看到 AI 回复你的问题,就说明成功了!你可以继续问:“什么是大模型?” 它会用简单语言解释。如果想退出对话,输入 /bye 即可。
下一步可以做什么?
- 尝试其他模型:比如
ollama run gemma:2b(Google 的小模型)。 - 使用图形界面:下载 LM Studio(一个带图形界面的工具),拖拽模型文件就能聊天,更直观。
- 学习调用 API:Ollama 内置了兼容 OpenAI 的 API,你可以在代码中调用它,比如用 Python 写个聊天机器人。
内容来源
DEV Ollama
发布时间
2026-07-23 01:36