简介
AI Agent 的开源可观测性平台:用 Docker Compose 自托管后,通过 SDK 采集 trace/指标/输出结果,支持端到端追踪、调试与对比评估,让 agent 的迭代从“感觉”变成可量化。
- 适合谁: 希望把 agent 的追踪与调试做成可复用能力,而不只靠零散日志的团队
- 可搭配: Docker Compose 自托管;在你的 agent 应用里接入 SDK
- 准备时间: 30–60 分钟
实战建议
- 量化建议:为每条工作流定义 3 个核心指标(延迟、tool 调用次数、成功率),先基线再优化 prompt。
- 量化建议:固定 20 条可复现的回放样本;每次变更后对比 traces,及时发现回归。
用可观测性驱动迭代
如果下面问题回答不出数据,你就在“凭感觉优化”:
- 哪一步最耗时?
- 哪个 tool 调用最容易失败?
- 哪次 prompt 变更真的提升成功率?
最小接入策略
- 每次 run 都用稳定的 run id 做追踪。
- tool 调用做 span 记录输入/输出(注意脱敏)。
- 记录最终结果(成功/失败 + 原因)。
避免看板淹没
先从一个工作流 + 一个团队开始;指标可信后再扩到更多服务。
FAQ
必须自托管吗? 答:不必须。仓库提供了自托管路径;团队也可以选择托管或仅本地使用。
优先接入什么? 答:先把一条当前最慢或最不稳定的工作流做成可量化的端到端追踪。
如何对比 prompt 变更? 答:用固定回放集对比 traces/指标,而不是靠主观感受。