Helicone Sessions — Group LLM Calls by User Conversation

简介

Helicone Sessions 把同一个用户对话、agent 运行、工作流下的多次 LLM 调用归到一个 session ID。端到端追踪多步 agent、看总成本/延迟/token 用量、把对话可视化成树。适合多轮 agent、带中间调用的 RAG 流水线、任何会丢失「哪次调用属于哪次运行」上下文的场景。兼容 Helicone Cloud + 自托管、任何 OpenAI / Anthropic SDK。装机时间 2 分钟。

给 session 打标

from openai import OpenAI

client = OpenAI(
    base_url="https://oai.helicone.ai/v1",
    default_headers={
        "Helicone-Auth": f"Bearer {HELICONE_KEY}",
        "Helicone-Session-Id": "session_abc123",
        "Helicone-Session-Name": "support_ticket_4521",
        "Helicone-Session-Path": "/triage/research/respond",
    },
)

# 这个 session 内所有调用被分组
client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Help me triage ticket #4521"}],
)

同一 Helicone-Session-Id 的多次调用在仪表盘聚合。

路径层级

# 顶层：triage
client.chat.completions.create(
    extra_headers={"Helicone-Session-Path": "/triage"},
    ...
)

# 子步：classify intent
client.chat.completions.create(
    extra_headers={"Helicone-Session-Path": "/triage/classify"},
    ...
)

# 子步：generate response
client.chat.completions.create(
    extra_headers={"Helicone-Session-Path": "/triage/respond"},
    ...
)

仪表盘把路径渲染成树，能看 agent 的决策流。

Session vs 裸日志

FAQ

Q: Helicone Sessions 免费吗？ A: 免费 —— Session 包含在 Helicone 免费档（每月 10K 请求）。付费档加更长保留期和更高配额。自托管 Helicone 原生支持 Session。

Q: 要改 SDK 吗？ A: 不用 —— Helicone 是 proxy。把 OpenAI / Anthropic 等的 base URL 切到 Helicone，加 Helicone-Auth header。Session 是 opt-in，加额外 header 启用。

Q: 能配 Anthropic Claude 吗？ A: 能 —— Helicone 代理 Anthropic / OpenAI / Google / Bedrock / OpenRouter。base URL 设 https://anthropic.helicone.ai，传同样的 Helicone-Session-* header。