Portkey — AI Gateway con gestión de Prompts y observabilidad
Portkey es un plano de control LLM integral: gateway para enrutamiento y failover, gestor de Prompts con versionado y suite de observabilidad con seguimiento de costos y guardrails, todo detrás de una sola API.
Why Portkey
Portkey es la respuesta a "quiero un solo producto, no cuatro". Su API única cubre todas las preocupaciones LLM en producción: enrutamiento (elegir el modelo correcto para cada petición), fiabilidad (reintentos, fallbacks, balanceo de carga entre proveedores), gestión de Prompts (Prompts versionados con A/B testing), observabilidad (trazas, desglose de costos, atribución por usuario) y guardrails (redacción de PII, validación de esquemas).
La apuesta es que estas preocupaciones están lo bastante entrelazadas como para que separarlas entre varias herramientas genere deuda de integración. En la práctica, los equipos que adoptan Portkey reemplazan 3-4 herramientas puntuales por un único plano de control, y los ahorros en cableado y deriva del modelo de datos son reales.
La contra-apuesta es el vendor lock-in: tu registro de Prompts, tus trazas y tus configs de enrutamiento viven todos en Portkey. Su opción self-hosted (el Gateway es open source bajo licencia Apache 2.0) mitiga esto para el camino inline, pero las funcionalidades del lado SaaS (gestión de Prompts, UI de analytics) son propietarias. Para equipos que quieren OSS puro, LiteLLM + Langfuse es la alternativa estándar.
Quick Start — OpenAI SDK + Portkey Headers
virtual_key es la bóveda de claves por proveedor de Portkey — rotas claves centralmente en lugar de redesplegar las apps. config es una política JSON (fallback, retry, caché, load-balance, guardrails) aplicada inline. metadata permite atribuir cada petición a un usuario, equipo o feature para análisis de costos.
# pip install portkey-ai
from portkey_ai import Portkey
client = Portkey(
api_key="pk-...",
virtual_key="openai-prod", # maps to your OpenAI key in Portkey vault
config={
# Fallback: try Claude first, then OpenAI on error
"strategy": {"mode": "fallback"},
"targets": [
{"virtual_key": "anthropic-prod", "override_params": {"model": "claude-3-5-sonnet-20241022"}},
{"virtual_key": "openai-prod", "override_params": {"model": "gpt-4o-mini"}},
],
# Cache identical requests for 10 minutes
"cache": {"mode": "simple", "max_age": 600},
},
)
resp = client.chat.completions.create(
messages=[{"role": "user", "content": "Why is AI gateway a category?"}],
# Attach custom metadata for later filtering in dashboards
metadata={"user_id": "william", "tier": "pro"},
)
print(resp.choices[0].message.content)
# Portkey dashboard now shows: latency, token cost, which target served,
# cache hit/miss, and a full prompt/response trace.Características clave
Claves virtuales
Almacena las claves de proveedores en la bóveda de Portkey; tu app solo ve claves virtuales. Rota, deshabilita o intercambia proveedores sin redespliegue.
Enrutamiento por estrategia
Configs JSON declarativas para fallback, retry, load-balance y enrutamiento condicional. Sin código custom — cambias la estrategia en el dashboard y el gateway la recoge.
Registro de Prompts versionado
Almacena Prompts como recursos de primera clase con historial de versiones y soporte de A/B testing. Referéncialos por ID desde el código; edítalos sin redespliegue.
Atribución de costo por usuario
Cada petición lleva metadata. Los dashboards desglosan el gasto por usuario, equipo, Prompt o modelo. Esencial para pricing por tenant y asignación de costos.
Guardrails
Redacción de PII incorporada, validación de esquema JSON, detección de groserías y menciones a competidores. Envuelve las llamadas con configs de guardrail; las violaciones se registran y, opcionalmente, se bloquean.
Gateway OSS + cloud de pago
El Gateway core está bajo Apache 2.0 — self-host para cumplimiento normativo. Portkey Cloud añade gestión de Prompts, UI de observabilidad y funciones de equipo.
Comparación
| Scope | Deployment | Prompt Mgmt | Self-host Option | |
|---|---|---|---|---|
| Portkeyesta | Gateway + observability + prompts + guardrails | Cloud + self-host | Yes (first-class) | Gateway OSS; cloud UI proprietary |
| Cloudflare AI Gateway | Gateway + basic logs | Managed only | No | No |
| LiteLLM + Langfuse | Gateway (LiteLLM) + observability (Langfuse) | Self-host both | Via Langfuse | Yes (both OSS) |
| Kong AI Gateway | Enterprise gateway | Self-host | Via plugins | Enterprise |
Casos de uso
01. Organizaciones multiequipo
El equipo de plataforma central corre Portkey; los equipos de producto lo atacan con claves virtuales. La política (qué modelos, qué topes de costos) se aplica centralmente; los equipos entregan de forma autónoma.
02. Sectores regulados
Guardrails + Gateway self-hosted + logs de auditoría cumplen requisitos comunes de compliance (redacción de PII, aislamiento por tenant). Las funcionalidades del lado SaaS quedan opcionales.
03. Aplicaciones intensivas en Prompts
Los productos con docenas o cientos de Prompts distintos se benefician enormemente del versionado y el A/B testing. El registro de Prompts de Portkey es el más maduro de la categoría gateway.
Precios y licencia
Portkey Gateway OSS: Apache 2.0. Self-host gratis. Incluye toda la lógica de enrutamiento, caché y guardrails. No incluye la UI de Portkey Cloud ni el registro de Prompts.
Portkey Cloud: tier dev gratuito, luego planes de pago por volumen de peticiones. El tier Enterprise añade SSO, SOC 2, despliegue on-prem y soporte dedicado. Ver portkey.ai/pricing.
Lo que ahorras: las organizaciones suelen reemplazar Helicone + una herramienta de gestión de Prompts + código de enrutamiento custom con Portkey. El cálculo de ROI suele tratar de horas de ingeniería ahorradas, no de costo por petición.
Activos relacionados en TokRepo
Portkey AI Gateway — Route to 250+ LLMs
Portkey AI Gateway routes to 250+ LLMs with sub-1ms latency, 40+ guardrails, retries, fallbacks, and caching. 11.1K+ stars. Apache 2.0.
LLM Gateway Comparison — Proxy Your AI Requests
Compare top LLM gateway and proxy tools for routing AI requests. Covers LiteLLM, Bifrost, Portkey, and OpenRouter for cost optimization, failover, and multi-provider access.
Preguntas frecuentes
¿Portkey o Cloudflare AI Gateway?+
Cloudflare es gratis, rápido en el edge y ligero en observabilidad. Portkey es de pago pero más amplio (gestión de Prompts, guardrails, observabilidad más profunda). Regla práctica: si los logs de Cloudflare responden tus preguntas, quédate; si quieres gestionar Prompts o aplicar guardrails, la migración a Portkey vale la pena.
¿Puedo usar solo el Portkey Gateway OSS?+
Sí. El Gateway está bajo Apache 2.0 en GitHub. Pierdes la UI Cloud, el registro de Prompts y los analytics — pero la lógica inline de enrutamiento, retry, fallback, caché y guardrails está toda en el binario OSS.
¿Portkey soporta modelos locales / self-hosted?+
Sí. Cualquier endpoint compatible con OpenAI (Ollama, vLLM, LM Studio, Together AI, Fireworks, Anyscale) sirve como target. Puedes enrutar entre modelos gestionados y self-hosted según la metadata de la petición.
¿Cómo se compara la observabilidad de Portkey con Langfuse?+
Portkey es más amplio pero menos profundo. Cubre trazas, costos, atribución por usuario y dashboards — suficiente para la mayoría de equipos. Langfuse profundiza más en spans anidados, ciclos de evaluación y testing basado en datasets. Los usuarios intensivos de evaluación combinan el gateway de Portkey con las trazas de Langfuse.
¿Hay overhead de latencia?+
Normalmente se añaden 5-15 ms en el hot path — el proxy hace algo de evaluación de políticas y emisión de métricas. Los cache hits ahorran cientos de ms, así que la latencia neta suele ser neutra o mejor sobre tráfico realista.