Observabilidad de LLM

Qué incluye este pack

No puedes arreglar lo que no ves. El día en que una regresión de prompt triplica silenciosamente tu factura de tokens es el día en que te arrepientes de no haber instalado una capa de observabilidad el trimestre pasado. Este pack reúne los siete recursos que convierten una caja negra LLM opaca en un sistema depurable, alertable y optimizable.

Por qué importa

Tres modos de fallo en producción que la observabilidad atrapa y la intuición no:

1. Inflación silenciosa de tokens. Una edición "menor" añade un recordatorio de 200 tokens. Multiplica por 1M de requests/día y son $2-6k/mes extra que no presupuestaste. La vista por versión de prompt de Langfuse lo expone el primer día.
2. La cola del percentil 95. La latencia promedio se ve bien — pero el 5% de queries que pegan en caché fría, bucles de retry o payloads RAG enormes hunden la experiencia de usuario. Los dashboards p99 de Phoenix o LangSmith hacen visible la cola.
3. Regresión de calidad invisible a nivel unitario. Cada respuesta individual parece plausible. Agregando puntuaciones de evaluadores (LLM-as-judge, recall de recuperación, tasa de alucinación) sobre las últimas 24h vs los 7 días previos, la regresión salta.

Instala en un comando

# Instala el pack completo
tokrepo install pack/llm-observability

# O elige la plataforma con la que empezar
tokrepo install langfuse
tokrepo install agentops
tokrepo install phoenix

TokRepo CLI deja la config del SDK y el scaffolding de dashboards en tu proyecto, así que las trazas empiezan a fluir en el siguiente request — sin walkthrough de instrumentación manual.

Errores comunes

• Loguear prompts completos y PII a una SaaS de terceros. Si tus prompts incluyen datos de usuario, self-host Langfuse o Phoenix; no envíes payloads crudos a LangSmith Cloud sin redacción. Las tres opciones open-source corren en una sola VM bajo 4GB RAM para cargas típicas.
• Sin sampling en endpoints de alto volumen. Trazar el 100% de requests a 1M/día abruma tanto el almacenamiento como el bolsillo. Muestrea 10% por defecto, 100% en errores. Langfuse y Phoenix lo soportan nativamente.
• Trackear tokens pero no dólares. Modelos diferentes cobran diferente por token. Configura el pricing del modelo en tu plataforma una vez; trackea coste en dólares, no solo conteos de tokens. A los CFOs les importan los dólares.
• Un dashboard genérico para todos. Construye un dashboard por persona — ing (latencia, tasa de error), producto (coste por feature), ejecutivo (coste por usuario activo, tendencia semanal). Los dashboards genéricos se ignoran.
• Sin alerta sobre delta de coste por versión de prompt. Añade una alerta que dispare cuando el coste-por-llamada promedio de una nueva versión de prompt se desvía >20% de la versión previa. Es la alerta de mayor ROI que configurarás.

Relación con otros packs

Observabilidad LLM es la capa de telemetría runtime. El pack complementario LLM Eval & Guardrails es la capa de scoring offline — DeepEval, Promptfoo, Ragas. Quieres ambos: la observabilidad te muestra qué está pasando en producción, el eval te dice si un cambio propuesto es mejor antes de desplegarlo.

Los Frameworks Multi-Agente (CAMEL, LangGraph, DeepAgents) son los sistemas que estás instrumentando. Si corres un workflow LangGraph y no puedes ver qué nodo falló, no tienes observabilidad — tienes un debugger con print. Combina el pack de framework con éste desde el día uno.