极客前沿

本地跑AI团队:Ollama+Gemma 零成本入门教程

2026-07-03 01:31
DEV Ollama
查看原文

本文教你用Ollama在本地运行Gemma模型,搭建完全离线的AI多智能体系统,无需云服务,数据不出电脑。

准备环境:装好Ollama和模型

首先,你需要一个能跑本地AI模型的工具。Ollama 是一个免费的开源软件,让你在个人电脑上运行大语言模型,就像安装普通程序一样简单。

Tutorial Image
  1. 打开浏览器,访问 ollama.com,下载对应你操作系统(Windows/Mac/Linux)的安装包。
  2. 安装完成后,打开终端(Windows用户打开命令提示符或PowerShell)。
  3. 执行命令:ollama pull gemma4:e2b,这会下载一个约5B参数的小模型,适合入门体验。参数可以理解为模型的“脑容量”,5B表示50亿,足够做很多有趣的任务。
  4. 等待下载完成(根据网速可能需要几分钟)。

常见坑:如果你电脑设置了HTTP代理,需要把 localhost 加入例外,否则Ollama可能连不上。在终端执行:export no_proxy=localhost(Windows用 set no_proxy=localhost)。

Tutorial Image

安装项目:下载并配置多智能体框架

我们要用的项目叫 open-multi-agent,它是一个用TypeScript写的工具,能让你创建多个AI角色(智能体)协同工作。所有智能体都跑在本地,数据不会上传云端。

Tutorial Image
  1. 确保你已安装 Node.js(一个让JavaScript在电脑上运行的环境)。如果没有,去 nodejs.org 下载最新版。
  2. 打开终端,执行:git clone https://github.com/your-repo/open-multi-agent.git(如果不会用git,直接下载ZIP解压也行)。
  3. 进入项目文件夹:cd open-multi-agent
  4. 安装依赖:npm install
  5. 配置模型连接:在项目根目录创建 .env 文件,写入:
    OPENAI_API_KEY=placeholder
    OPENAI_BASE_URL=http://localhost:11434/v1
    
    这里 apiKey 可以随便填(本地模型不需要密钥),关键是 baseURL 指向你本地的Ollama服务。

验证是否成功:跑一个简单例子

项目自带一个两角色团队:一个研究员(负责收集系统信息),一个总结员(负责整理报告)。我们来试试。

Tutorial Image
  1. 在终端执行:npm run runTasks。这会运行一个手动定义任务的版本,看看基础功能是否正常。
  2. 如果看到绿色对勾和输出文件,说明安装成功。接着执行:npm run runTeam。这次让AI自己决定如何分解任务——它才是真正的“协调员”。
  3. 等待几秒钟,你会看到模型生成一个JSON格式的任务计划,然后依次执行。最终会生成一个 report.md 文件,里面是准确的本机信息(如Node版本、操作系统等)。

常见坑:如果卡住或报错,检查Ollama是否在运行(终端执行 ollama serve),以及 baseURL 是否正确。

下一步可以做什么

现在你已经有了一个完全离线的AI团队。你可以尝试:

  • 修改任务描述,让AI做其他事情,比如分析文件、写代码。
  • 增加更多智能体角色,比如“代码审查员”或“测试员”。
  • 把模型换成更大的(比如 gemma4:27b),但注意你的内存——16GB内存的电脑跑5B模型没问题,更大的模型可能需要更多资源。

记住:所有数据都在本地,不用担心隐私或费用。享受零成本的AI探索吧!

内容来源

DEV Ollama

发布时间

2026-07-03 01:31

返回 AI技术