LLM 可观测性

这个 pack 装了什么

看不见就修不了。某天一个 prompt 回归悄悄把 token 账单翻 3 倍，你才会后悔上季度没装可观测层。这个 pack 收齐 七个资产，把不透明的 LLM 黑盒变成可调试、可报警、可优化的系统。

为什么要装

三个直觉抓不到、可观测性能抓到的生产失败：

1. Token 静默膨胀。一个「小」prompt 改动加了 200 token 的提醒。乘上每天 100 万次请求，预算外多了 2-6 千美金/月。Langfuse 按 prompt 版本看成本，第一天就能发现。
2. 第 95 百分位的尾巴。平均延迟看着正常 —— 但 5% 撞冷缓存、撞重试循环、撞超大 RAG payload 的请求把用户体验拖崩。Phoenix / LangSmith 的 p99 仪表盘让尾巴可见。
3. 质量回归在单条上看不出来。每条单独回答都看着合理。把过去 24h 的评估器分数（LLM-as-judge / 检索召回 / 幻觉率）跟前 7 天聚合对比，回归就跳出来了。

一条命令装齐

# 装整个 pack
tokrepo install pack/llm-observability

# 或者只装你想先跑的平台
tokrepo install langfuse
tokrepo install agentops
tokrepo install phoenix

TokRepo CLI 把 SDK 配置和仪表盘脚手架丢进项目，下次请求就开始流 trace —— 不用手动接接接。

常见坑

• 把完整 prompt 和 PII 日志推到第三方 SaaS。如果 prompt 含用户数据，自建 Langfuse 或 Phoenix；别没脱敏就把原始 payload 推 LangSmith 云。三个开源方案在常规负载下单 VM 4GB 内存就够。
• 高流量端点不采样。每天 100 万请求全 trace 会把存储和钱包同时打爆。默认采 10%，错误时采 100%。Langfuse 和 Phoenix 原生支持。
• 追 token 不追美元。不同模型每 token 价不同。在平台里配一次模型定价；按美元追，不只看 token 数。CFO 关心的是美元。
• 所有人共用一个仪表盘。每个角色一个仪表盘 —— 工程（延迟 / 错误率）、产品（每功能成本）、高管（每活跃用户成本 / 周环比）。通用仪表盘没人看。
• 不报 prompt 版本成本差。设个报警：新 prompt 版本平均每次调用成本比上个版本偏离 >20% 就触发。这是 ROI 最高的单个报警。

跟其他 pack 的关系

LLM 可观测性是运行时遥测层。互补的 LLM 评测 & 护栏 pack 是离线打分层 —— DeepEval / Promptfoo / Ragas。两个都要：可观测性告诉你生产里在发生什么，评测告诉你拟改的 prompt 是否更好再上线。

多 Agent 框架（CAMEL / LangGraph / DeepAgents）是被检测的系统。如果你跑 LangGraph 工作流但看不出哪个节点挂了，那不叫可观测，叫 print 调试。框架 pack 跟这个 pack 第一天就一起装。