AI入门:从零安装并跑通一个小型语言模型
本文教你用Python和Ollama在本地安装并运行一个小型语言模型,零基础也能上手。
准备工作:你需要什么
在开始之前,请确保你的电脑满足以下条件:
- Apple Silicon Mac(M1/M2/M3或更新型号):因为微调步骤要用到苹果的MLX框架,它只支持这种芯片。
- Python 3:用来运行脚本。如果你还没装,可以去官网下载,安装时记得勾选“Add Python to PATH”。
- Ollama:一个让你在本地跑大模型的工具。去Ollama官网下载并安装。装好后,打开终端(Mac的“终端”应用),运行
ollama pull qwen2.5:7b来下载一个7B参数的小模型。这个模型只有几GB,用来生成训练数据。 - 足够的内存:运行7B模型建议至少16GB RAM。
安装步骤:一步步来
- 创建Python虚拟环境:打开终端,进入你想放项目的文件夹,运行
python3 -m venv myenv,然后激活它:source myenv/bin/activate。虚拟环境可以隔离不同项目的依赖,避免冲突。 - 安装必要的Python包:在虚拟环境中运行
pip install wikipedia-api requests。这些包会帮你从维基百科抓取数据。 - 获取训练数据:写一个简单的Python脚本,用维基百科API抓取文章。比如,你可以定义一些类别(如“科学”“艺术”),然后抓取相关文章。原文作者抓了约19000篇文章,但新手可以先试10篇。下面是一个最小示例:
import wikipediaapi
wiki_wiki = wikipediaapi.Wikipedia('en')
page = wiki_wiki.page('Python (programming language)')
print(page.summary) - 微调模型(可选):如果你想让模型更懂你的需求,可以用MLX框架微调。但这一步对新手来说不是必须的,你可以先跳过,直接使用原版Qwen模型。
- 运行模型:在终端输入
ollama run qwen2.5:7b,然后就可以开始对话了。比如问它“给小学生推荐一个创意手工项目”,看看它怎么回答。
验证是否成功
运行模型后,输入一个问题,如果模型能给出合理的回答,就说明安装成功。你也可以尝试问一些简单的问题,比如“用纸杯和胶水能做什么?”
下一步可以做什么
现在你已经跑通了基础流程,可以尝试:
- 调整训练数据:抓取你感兴趣领域的维基百科文章,让模型更专业。
- 学习微调:查阅MLX官方文档,了解如何用你的数据微调模型。
- 集成到应用:像原文作者一样,把模型接入你自己的App中,提供创意建议功能。
内容来源
freeCodeCamp
发布时间
2026-06-25 01:30