AI 入门:本地运行大模型并记录日志(Ollama + Bronto 实战)
学会安装 Ollama 本地运行 AI 模型,并配置日志记录到 Bronto 进行搜索和分析。
准备环境
你需要一台电脑(Windows / macOS / Linux),以及基本的命令行操作能力。本教程不要求你有 AI 经验,我们会一步步带你完成。
安装 Ollama,本地运行 AI 模型
Ollama 是一个免费的开源工具,让你能在自己的电脑上运行大语言模型(LLM),比如聊天机器人、文档总结等。
- 访问 ollama.com/download,根据你的操作系统下载安装包。
- 安装完成后,打开终端(Windows 是命令提示符或 PowerShell,macOS 是终端.app)。
- 输入以下命令启动 Ollama 服务器:
ollama serve
你会看到类似Listening on 127.0.0.1:11434的输出,说明服务跑起来了。 - 保持终端开着,新开一个终端窗口,运行一个模型试试:
ollama run gemma:2b
稍等片刻,你会看到>>>提示符,输入任意问题(比如 “你好”),模型就会回答你。
常见坑:如果下载模型很慢,可以尝试更换网络或使用代理。gemma:2b 是谷歌的小模型,适合入门,但回答比较简洁。
配置日志记录到 Bronto
AI 模型每次回答都会产生日志,记录用了多少时间、生成了多少字符等。把这些日志收集起来,方便后续分析。这里我们用 Bronto(一个日志管理工具)来接收日志。
- 停止 Ollama 服务器(在运行
ollama serve的终端按 Ctrl+C)。 - 重启服务器,并将日志写入文件:
ollama serve >> ollama.log 2>&1 & - 安装 OpenTelemetry Collector(用于转发日志):从 opentelemetry.io 下载对应平台的版本。macOS ARM64 示例:
curl -L https://github.com/open-telemetry/opentelemetry-collector-releases/releases/download/v0.72.0/otelcol-contrib_0.72.0_darwin_arm64.tar.gz -o otelcol.tar.gz - 解压并启动 Collector,配置文件指向 Bronto 的接入点(具体配置可参考 Bronto 官方文档)。
- 现在,每次你向 Ollama 发送问题,日志就会自动传到 Bronto。
常见坑:OpenTelemetry 配置稍复杂,如果遇到问题,先检查日志文件是否生成,再确认 Collector 是否成功连接 Bronto。
验证是否成功
在 Bronto 的搜索界面,尝试搜索 tokens 或 prompt,你应该能看到来自 Ollama 的日志条目,包含每次对话的耗时、token 数量等信息。
下一步可以做什么
- 尝试其他模型,比如
ollama run mistral(更详细但速度慢)。 - 写一个简单的 Python 脚本(调用 Ollama API)批量测试不同提示词的效果。
- 探索 Bronto 的日志分析功能,比如按时间分组查看性能趋势。
内容来源
DEV Ollama
发布时间
2026-05-20 01:31