极客前沿

AI入门:从零安装并跑通一个小型语言模型

2026-06-25 01:30
freeCodeCamp
查看原文

本文教你用Python和Ollama在本地安装并运行一个小型语言模型,零基础也能上手。

准备工作:你需要什么

在开始之前,请确保你的电脑满足以下条件:

Tutorial Image
  • Apple Silicon Mac(M1/M2/M3或更新型号):因为微调步骤要用到苹果的MLX框架,它只支持这种芯片。
  • Python 3:用来运行脚本。如果你还没装,可以去官网下载,安装时记得勾选“Add Python to PATH”。
  • Ollama:一个让你在本地跑大模型的工具。去Ollama官网下载并安装。装好后,打开终端(Mac的“终端”应用),运行 ollama pull qwen2.5:7b 来下载一个7B参数的小模型。这个模型只有几GB,用来生成训练数据。
  • 足够的内存:运行7B模型建议至少16GB RAM。

安装步骤:一步步来

  1. 创建Python虚拟环境:打开终端,进入你想放项目的文件夹,运行 python3 -m venv myenv,然后激活它:source myenv/bin/activate。虚拟环境可以隔离不同项目的依赖,避免冲突。
  2. 安装必要的Python包:在虚拟环境中运行 pip install wikipedia-api requests。这些包会帮你从维基百科抓取数据。
  3. 获取训练数据:写一个简单的Python脚本,用维基百科API抓取文章。比如,你可以定义一些类别(如“科学”“艺术”),然后抓取相关文章。原文作者抓了约19000篇文章,但新手可以先试10篇。下面是一个最小示例:
    import wikipediaapi
    wiki_wiki = wikipediaapi.Wikipedia('en')
    page = wiki_wiki.page('Python (programming language)')
    print(page.summary)
  4. 微调模型(可选):如果你想让模型更懂你的需求,可以用MLX框架微调。但这一步对新手来说不是必须的,你可以先跳过,直接使用原版Qwen模型。
  5. 运行模型:在终端输入 ollama run qwen2.5:7b,然后就可以开始对话了。比如问它“给小学生推荐一个创意手工项目”,看看它怎么回答。

验证是否成功

运行模型后,输入一个问题,如果模型能给出合理的回答,就说明安装成功。你也可以尝试问一些简单的问题,比如“用纸杯和胶水能做什么?”

Tutorial Image

下一步可以做什么

现在你已经跑通了基础流程,可以尝试:

Tutorial Image
  • 调整训练数据:抓取你感兴趣领域的维基百科文章,让模型更专业。
  • 学习微调:查阅MLX官方文档,了解如何用你的数据微调模型。
  • 集成到应用:像原文作者一样,把模型接入你自己的App中,提供创意建议功能。

内容来源

freeCodeCamp

发布时间

2026-06-25 01:30

返回 AI技术