PostHog LLM Observability — Track AI Agents in Production

简介

PostHog 的 LLM Observability 追踪你应用每次 LLM 调用 —— 模型、prompt、响应、延迟、成本 —— 并跟用户会话和 feature flag 关联。包装器自动埋点 OpenAI / Anthropic / LangChain / Vercel AI SDK 调用，调用点不用改。适合已经用 PostHog 做产品分析、想把 LLM trace 放同一仪表盘的生产团队。兼容 Python / Node SDK + OpenAI / Anthropic / LangChain。装机时间 5 分钟。

装上去（Python）

import posthog
from posthog.ai.openai import OpenAI

posthog.api_key = os.environ["POSTHOG_API_KEY"]
posthog.host = "https://us.posthog.com"

# Drop-in 替换 —— API 跟 openai.OpenAI 一样
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"], posthog_client=posthog)

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Hello"}],
    posthog_distinct_id="user_42",          # 关联到用户
    posthog_properties={"feature": "chat"}, # 自定义 metadata
)

PostHog 自动追踪模型、延迟、输入/输出 token、成本（用内置价格表）、任何错误。

Anthropic / LangChain 包装器

from posthog.ai.anthropic import Anthropic
from posthog.ai.langchain import CallbackHandler

# Anthropic
client = Anthropic(api_key=..., posthog_client=posthog)

# LangChain
callbacks = [CallbackHandler(client=posthog, distinct_id="user_42")]
chain.invoke({"input": "..."}, config={"callbacks": callbacks})

仪表盘里能看到什么

• 单次调用：prompt、响应、模型、延迟、成本、错误、属性
• 聚合：按模型 / 按功能 / 按用户分成本，p95 延迟，错误率
• 漏斗：把 LLM 事件和普通产品事件合并（「用户打开功能 → 3 次 LLM 调用 → 转化/没转化」）
• 群组：按用户档位、注册时间等过滤 LLM 成本

为啥用 PostHog 而不是 Helicone 或 Langfuse

PostHog 是通用产品分析，LLM 作为一层。如果你团队已经用 PostHog 做漏斗、留存、feature flag —— 加 LLM trace 让所有数据相关联。Helicone / Langfuse 是 LLM 专用（LLM 功能更深，但跟产品分析不重叠）。

FAQ

Q: PostHog 免费吗？ A: 免费 —— 大方的免费档（产品分析每月 1M 事件，LLM 事件每月 100K）。自托管在 MIT 下完全免费。Cloud 付费档加更长保留和团队功能。

Q: 会拖慢 LLM 调用吗？ A: 可忽略。包装器在后台异步发事件 —— 你的调用返回时间跟没埋点一样。PostHog 缓冲并批量上传 trace。

Q: 能从 prompt / 响应里去掉 PII 吗？ A: 能 —— 传 posthog_privacy_mode=True 屏蔽 prompt/响应正文（只发 metadata），或在 PostHog 端做属性脱敏。医疗 / 金融合规需要。