极客前沿

AI 入门:本地运行大模型并记录日志(Ollama + Bronto 实战)

2026-05-20 01:31
DEV Ollama
查看原文

学会安装 Ollama 本地运行 AI 模型,并配置日志记录到 Bronto 进行搜索和分析。

准备环境

你需要一台电脑(Windows / macOS / Linux),以及基本的命令行操作能力。本教程不要求你有 AI 经验,我们会一步步带你完成。

Tutorial Image

安装 Ollama,本地运行 AI 模型

Ollama 是一个免费的开源工具,让你能在自己的电脑上运行大语言模型(LLM),比如聊天机器人、文档总结等。

Tutorial Image
  1. 访问 ollama.com/download,根据你的操作系统下载安装包。
  2. 安装完成后,打开终端(Windows 是命令提示符或 PowerShell,macOS 是终端.app)。
  3. 输入以下命令启动 Ollama 服务器:
    ollama serve
    你会看到类似 Listening on 127.0.0.1:11434 的输出,说明服务跑起来了。
  4. 保持终端开着,新开一个终端窗口,运行一个模型试试:
    ollama run gemma:2b
    稍等片刻,你会看到 >>> 提示符,输入任意问题(比如 “你好”),模型就会回答你。

常见坑:如果下载模型很慢,可以尝试更换网络或使用代理。gemma:2b 是谷歌的小模型,适合入门,但回答比较简洁。

Tutorial Image

配置日志记录到 Bronto

AI 模型每次回答都会产生日志,记录用了多少时间、生成了多少字符等。把这些日志收集起来,方便后续分析。这里我们用 Bronto(一个日志管理工具)来接收日志。

Tutorial Image
  1. 停止 Ollama 服务器(在运行 ollama serve 的终端按 Ctrl+C)。
  2. 重启服务器,并将日志写入文件:
    ollama serve >> ollama.log 2>&1 &
  3. 安装 OpenTelemetry Collector(用于转发日志):从 opentelemetry.io 下载对应平台的版本。macOS ARM64 示例:
    curl -L https://github.com/open-telemetry/opentelemetry-collector-releases/releases/download/v0.72.0/otelcol-contrib_0.72.0_darwin_arm64.tar.gz -o otelcol.tar.gz
  4. 解压并启动 Collector,配置文件指向 Bronto 的接入点(具体配置可参考 Bronto 官方文档)。
  5. 现在,每次你向 Ollama 发送问题,日志就会自动传到 Bronto。

常见坑:OpenTelemetry 配置稍复杂,如果遇到问题,先检查日志文件是否生成,再确认 Collector 是否成功连接 Bronto。

验证是否成功

在 Bronto 的搜索界面,尝试搜索 tokensprompt,你应该能看到来自 Ollama 的日志条目,包含每次对话的耗时、token 数量等信息。

下一步可以做什么

  • 尝试其他模型,比如 ollama run mistral(更详细但速度慢)。
  • 写一个简单的 Python 脚本(调用 Ollama API)批量测试不同提示词的效果。
  • 探索 Bronto 的日志分析功能,比如按时间分组查看性能趋势。

内容来源

DEV Ollama

发布时间

2026-05-20 01:31

返回 AI技术