想自己电脑上跑个 AI 模型？别怕，今天带你一步步装好环境，第一次跑通本地大模型。你不需要懂深度学习，跟着操作就行。

准备环境

你需要一台有 NVIDIA 显卡（通俗说就是 AI 加速卡）的电脑，显存至少 8GB。如果没有，也可以只用 CPU 跑，但会很慢。

• 下载并安装 Ollama（一个帮你管理 AI 模型的工具），官网 ollama.com，选对应系统下载安装。
• 安装后打开终端（Windows 用 PowerShell 或 CMD，Mac/Linux 用终端），输入 ollama --version 确认安装成功。

安装并运行第一个模型

1. 在终端输入 ollama pull llama3.1:8b，这会下载一个 8B（80亿参数）的模型，适合入门。下载时间取决于网速，约几分钟。
2. 下载完成后，输入 ollama run llama3.1:8b，等待几秒，出现 >>> 提示符就说明成功了。
3. 现在你可以打字和 AI 对话了！比如问“你好，介绍一下自己”。

设置上下文大小（重要）

上下文大小（num_ctx）决定 AI 一次能“记住”多少内容。默认值 2048 足够日常用。如果改大，模型会重新加载，很慢。建议固定一个值：

• 运行模型时指定：ollama run llama3.1:8b --num-ctx 4096
• 或者在 Ollama 的模型配置文件中设置，避免每次手动输入。

小提醒：不要频繁改上下文，否则每次都要等模型加载，浪费时间。

验证是否成功

输入一个长一点的请求，比如“用 100 字解释什么是 AI”。如果正常输出，说明一切就绪。你也可以用 ollama ps 查看当前运行的模型和显存占用。

恭喜！你已经跑通了本地 AI 模型。下一步可以试试其他模型（比如 gemma2:9b），或者用 Python 调用 Ollama API 做更复杂的应用。