本地AI入门:装好Ollama,第一次跑通大模型
手把手教你安装Ollama、下载模型、运行推理,并用一个健康检查脚本验证环境是否正常。
准备环境:你需要什么
在开始之前,先确认你的电脑满足基本条件:
- 一台带NVIDIA GPU(英伟达显卡)的Windows电脑,显存至少4GB。
- 安装WSL(Windows Subsystem for Linux,Windows下的Linux子系统),让Ollama能在Linux环境下运行。
- 稳定的网络,用于下载模型文件(约4~8GB)。
安装步骤:一步步来
- 安装WSL:打开PowerShell(管理员),运行
wsl --install,重启电脑。 - 安装Ollama:访问 ollama.com 下载Windows版安装包,双击安装。
- 下载模型:打开终端(或WSL),输入
ollama pull llama3.1:8b,等待下载完成。这个模型是Meta的Llama 3.1(一个开源大语言模型),8b表示80亿参数,适合本地运行。 - 运行模型:输入
ollama run llama3.1:8b,看到提示符后就可以聊天了!输入/bye退出。
验证是否成功:跑一个健康检查
为了确认环境没问题,我们写一个简单的脚本检查各个部件:
- API连通性:Ollama服务是否在运行?
- 模型存在:llama3.1:8b是否已下载?
- GPU可见:Windows和WSL都能识别你的显卡。
- 生成测试:让模型回答一个简单问题,并设置超时时间(比如8秒),防止卡死。
你可以用PowerShell运行以下命令(需要先安装Ollama并启动):
ollama run llama3.1:8b "Hello" --timeout 8
如果几秒内返回结果,说明一切正常。如果超时,检查网络或模型是否损坏。
下一步可以做什么
- 尝试其他模型:比如
ollama pull mistral或ollama pull gemma:2b。 - 用Python调用Ollama API:安装
ollama-python库,写几行代码就能让程序自动提问。 - 加入社区:在GitHub或Reddit上搜索Ollama,看别人怎么用。
内容来源
DEV Ollama
发布时间
2026-07-07 01:31