Portkey — AI Gateway avec gestion des Prompts et observabilité
Portkey est un plan de contrôle LLM de bout en bout : Gateway pour le routage et la bascule, gestionnaire de Prompts avec versionnement, et suite d'observabilité avec suivi des coûts et garde-fous — le tout derrière une seule API.
Why Portkey
Portkey est la réponse au « je veux un seul produit, pas quatre ». Son API unique couvre toutes les préoccupations LLM en production : routage (choisir le bon modèle pour chaque requête), fiabilité (retries, fallbacks, load balancing entre fournisseurs), gestion des Prompts (Prompts versionnés avec A/B testing), observabilité (traces, ventilation des coûts, attribution par utilisateur) et garde-fous (rédaction PII, validation de schéma).
Le pari, c'est que ces préoccupations sont suffisamment imbriquées pour qu'en les séparant entre plusieurs outils on accumule de la dette d'intégration. En pratique, les équipes qui adoptent Portkey remplacent 3-4 outils ponctuels par un seul plan de contrôle, et les économies en câblage et en dérive de modèle de données sont bien réelles.
Le contre-pari, c'est le vendor lock-in : votre registre de Prompts, vos traces et vos configs de routage vivent tous dans Portkey. Leur option self-hosted (le Gateway est open source sous licence Apache 2.0) atténue ce risque pour le chemin inline, mais les fonctionnalités côté SaaS (gestion des Prompts, UI d'analytics) sont propriétaires. Pour les équipes qui veulent du pur OSS, LiteLLM + Langfuse est l'alternative standard.
Quick Start — OpenAI SDK + Portkey Headers
virtual_key est le coffre de clés par fournisseur de Portkey — vous faites tourner vos clés de manière centralisée au lieu de redéployer les applis. config est une politique JSON (fallback, retry, cache, load-balance, garde-fous) appliquée inline. metadata permet d'attribuer chaque requête à un utilisateur, une équipe ou une fonctionnalité pour l'analyse des coûts.
# pip install portkey-ai
from portkey_ai import Portkey
client = Portkey(
api_key="pk-...",
virtual_key="openai-prod", # maps to your OpenAI key in Portkey vault
config={
# Fallback: try Claude first, then OpenAI on error
"strategy": {"mode": "fallback"},
"targets": [
{"virtual_key": "anthropic-prod", "override_params": {"model": "claude-3-5-sonnet-20241022"}},
{"virtual_key": "openai-prod", "override_params": {"model": "gpt-4o-mini"}},
],
# Cache identical requests for 10 minutes
"cache": {"mode": "simple", "max_age": 600},
},
)
resp = client.chat.completions.create(
messages=[{"role": "user", "content": "Why is AI gateway a category?"}],
# Attach custom metadata for later filtering in dashboards
metadata={"user_id": "william", "tier": "pro"},
)
print(resp.choices[0].message.content)
# Portkey dashboard now shows: latency, token cost, which target served,
# cache hit/miss, and a full prompt/response trace.Fonctionnalités clés
Clés virtuelles
Stockez les clés des fournisseurs dans le coffre Portkey ; votre appli ne voit que des clés virtuelles. Rotation, désactivation ou changement de fournisseur sans redéploiement.
Routage par stratégie
Configs JSON déclaratives pour fallback, retry, load-balance, routage conditionnel. Aucun code custom — vous changez la stratégie dans le dashboard, le gateway la prend en compte.
Registre de Prompts versionné
Stockez les Prompts comme des ressources de premier ordre avec historique des versions et support de l'A/B test. Référencez-les par ID depuis le code ; éditez sans redéploiement.
Attribution de coût par utilisateur
Chaque requête porte des metadata. Les dashboards ventilent la dépense par utilisateur, équipe, Prompt ou modèle. Essentiel pour la tarification par tenant et l'allocation des coûts.
Garde-fous
Rédaction PII intégrée, validation de schéma JSON, détection de grossièretés, mentions de concurrents. Encapsulez les appels avec des configs de garde-fous ; les violations sont loggées et éventuellement bloquées.
Gateway OSS + cloud payant
Le Gateway de base est sous licence Apache 2.0 — auto-hébergez-le pour la conformité. Portkey Cloud ajoute la gestion des Prompts, l'UI d'observabilité et les fonctionnalités d'équipe.
Comparaison
| Scope | Deployment | Prompt Mgmt | Self-host Option | |
|---|---|---|---|---|
| Portkeycelui-ci | Gateway + observability + prompts + guardrails | Cloud + self-host | Yes (first-class) | Gateway OSS; cloud UI proprietary |
| Cloudflare AI Gateway | Gateway + basic logs | Managed only | No | No |
| LiteLLM + Langfuse | Gateway (LiteLLM) + observability (Langfuse) | Self-host both | Via Langfuse | Yes (both OSS) |
| Kong AI Gateway | Enterprise gateway | Self-host | Via plugins | Enterprise |
Cas d'usage
01. Organisations multi-équipes
Une équipe plateforme centrale fait tourner Portkey ; les équipes produit l'attaquent avec des clés virtuelles. La politique (quels modèles, quels plafonds de coûts) est appliquée centralement ; les équipes livrent en autonomie.
02. Secteurs régulés
Garde-fous + Gateway self-hosted + logs d'audit répondent aux exigences de conformité courantes (rédaction PII, isolation par tenant). Les fonctionnalités côté SaaS restent optionnelles.
03. Applications très Prompt-centrées
Les produits avec des dizaines ou des centaines de Prompts distincts bénéficient énormément du versionnement et de l'A/B testing. Le registre de Prompts de Portkey est le plus mature de la catégorie gateway.
Tarification et licence
Portkey Gateway OSS : Apache 2.0. Auto-hébergement gratuit. Inclut toute la logique de routage, de cache et de garde-fous. N'inclut pas l'UI Portkey Cloud ni le registre de Prompts.
Portkey Cloud : tier dev gratuit, puis plans payants au volume de requêtes. Le tier Enterprise ajoute SSO, SOC 2, déploiement on-prem et support dédié. Voir portkey.ai/pricing.
Ce que vous économisez : les organisations remplacent typiquement Helicone + un outil de gestion de Prompts + du code de routage maison par Portkey. Le calcul de ROI porte d'habitude sur les heures d'ingénierie économisées, pas sur le coût par requête.
Assets associés sur TokRepo
Portkey AI Gateway — Route to 250+ LLMs
Portkey AI Gateway routes to 250+ LLMs with sub-1ms latency, 40+ guardrails, retries, fallbacks, and caching. 11.1K+ stars. Apache 2.0.
LLM Gateway Comparison — Proxy Your AI Requests
Compare top LLM gateway and proxy tools for routing AI requests. Covers LiteLLM, Bifrost, Portkey, and OpenRouter for cost optimization, failover, and multi-provider access.
Questions fréquentes
Portkey ou Cloudflare AI Gateway ?+
Cloudflare est gratuit, rapide en edge et léger en observabilité. Portkey est payant mais plus large (gestion des Prompts, garde-fous, observabilité plus profonde). Règle simple : si les logs Cloudflare répondent à vos questions, restez ; si vous voulez gérer des Prompts ou imposer des garde-fous, la migration vers Portkey vaut la peine.
Puis-je utiliser uniquement le Portkey Gateway OSS ?+
Oui. Le Gateway est sous Apache 2.0 sur GitHub. Vous perdez l'UI Cloud, le registre de Prompts et les analytics — mais la logique inline de routage, retry, fallback, cache et garde-fous est entièrement dans le binaire OSS.
Portkey supporte-t-il les modèles locaux / self-hosted ?+
Oui. N'importe quel endpoint compatible OpenAI (Ollama, vLLM, LM Studio, Together AI, Fireworks, Anyscale) fait office de cible. Vous pouvez router entre modèles managés et self-hosted selon les metadata de la requête.
Comment l'observabilité de Portkey se compare-t-elle à Langfuse ?+
Portkey est plus large mais moins profond. Il couvre les traces, les coûts, l'attribution par utilisateur et les dashboards — suffisant pour la plupart des équipes. Langfuse va plus loin sur les spans imbriqués, les boucles d'évaluation et les tests basés sur dataset. Les gros utilisateurs d'évaluation associent le gateway Portkey aux traces Langfuse.
Y a-t-il un surcoût de latence ?+
Typiquement 5 à 15 ms ajoutés sur le hot path — le proxy fait un peu d'évaluation de politique et d'émission de métriques. Les cache hits économisent des centaines de ms, donc la latence nette est en général neutre voire meilleure sur du trafic réaliste.