本地AI入门:20分钟装好Ollama,第一次跑通大模型
手把手教你安装Ollama、下载模型并运行第一个本地AI查询,零基础也能快速上手。
准备环境:你需要什么
运行本地大模型不需要高端服务器,一台普通电脑就够了。推荐使用NVIDIA显卡(如RTX 3060),显存越大越好。如果没有独立显卡,用CPU也能跑小模型,只是慢一些。你需要先安装Ollama——一个让你在本地轻松运行大模型的免费工具。
- 电脑:Windows/macOS/Linux均可
- 显卡(可选):NVIDIA显卡(4GB以上显存)
- 硬盘空间:每个模型4~15GB
安装步骤:20分钟从零到第一次查询
- 访问Ollama官网(ollama.com),下载对应操作系统的安装包并安装。
- 打开终端(Windows用户打开命令提示符或PowerShell),输入
ollama pull qwen2.5:7b并回车。这行命令会下载一个7B参数的中文模型Qwen2.5(“B”代表十亿,7B模型适合大部分入门任务)。 - 等待下载完成(视网速而定,通常几分钟到十几分钟)。下载完后,输入
ollama run qwen2.5:7b启动模型。 - 看到提示符后,输入你的第一个问题,比如“用Python写一个计算斐波那契数列的函数”,模型就会开始回答。
常见坑:如果下载慢,可以尝试切换网络或使用镜像源;Windows用户如果遇到路径问题,以管理员身份运行终端即可。
验证是否成功
成功运行后,你会看到模型逐字输出回答。可以多问几个问题测试效果,比如“解释一下什么是API”或“把这段英文翻译成中文”。如果回答流畅、内容合理,说明安装成功。
下一步可以做什么
- 尝试其他模型:用
ollama pull llama3.2下载Meta的Llama模型,适合英文任务。 - 写一个简单的Python脚本来调用本地模型:安装Ollama Python库(
pip install ollama),然后几行代码就能在程序里使用AI。 - 了解模型大小的影响:小模型(如7B)速度快但复杂推理能力弱,大模型(如70B)更聪明但需要更高配置。
内容来源
DEV Ollama
发布时间
2026-07-08 01:35