零成本搭建本地AI助手:从硬件到跑通第一个模型
手把手教你用闲置电脑搭建本地AI环境,装Ollama、选模型、跑通第一个对话,避开常见坑。
准备硬件:旧电脑也能当AI服务器
你不需要买昂贵的显卡。只要有一台闲置电脑(台式机或笔记本),就可以跑本地AI模型。关键看显存(VRAM)——就是显卡上专门存数据的内存。显存越大,能跑的模型越大。8GB显存能跑7B参数模型,12GB能跑13B模型。CPU和内存要求不高,8GB以上内存即可。
注意:如果你的显卡是AMD RX 6700系列,可能遇到驱动问题。建议先用NVIDIA显卡或直接跳过硬件检查,用Ollama的CPU模式也能跑,只是慢一点。
安装核心工具:Ollama
Ollama 是一个让你在本地电脑上运行大语言模型的免费工具,像安装普通软件一样简单。
- 打开浏览器,访问 https://ollama.com,点击下载按钮。
- 选择你的操作系统(Windows、macOS或Linux),下载安装包。
- 双击安装,一路默认选项即可。安装完成后,打开终端(Windows打开命令提示符或PowerShell)。
- 输入命令:
ollama run codellama—— 这会自动下载一个叫Codellama的编程专用模型(约4GB)。等待进度条走完。 - 当出现
>>>提示符时,你就可以输入问题了!比如“写一个Python函数计算斐波那契数列”。
常见坑:如果下载速度慢,可以挂代理或换一个更小的模型,比如ollama run tinyllama(约1GB)。
验证是否成功:跑通第一个对话
模型下载完成后,在终端里输入任何问题,看模型是否正常回复。例如:
- “你好,请介绍一下你自己”
- “用中文写一首关于秋天的诗”
如果模型回复了内容,恭喜你——本地AI已经跑通了!
如果想退出对话,输入/bye即可。
下一步可以做什么
- 换模型:Ollama支持上百种模型,比如
llama3(通用对话)、mistral(速度快)。用ollama list查看已下载的模型,用ollama pull 模型名下载新模型。 - 图形界面:下载Open WebUI(https://openwebui.com),连接Ollama,就能在浏览器里像ChatGPT一样使用。
- 编程助手:安装Continue插件(VS Code扩展),配置Ollama作为后端,就能在写代码时自动补全和问答。
现在你已经学会了最基础的一步:在本地跑通一个AI模型。接下来可以自由探索更多玩法!
内容来源
DEV Ollama
发布时间
2026-07-13 01:31