Route, load-balance, and fallback across 200+ LLMs with a single API. Built-in caching, guardrails, observability, and budget controls for production AI apps.
这里应该同时让用户和 Agent 知道第一步该复制什么、安装什么、落到哪里。
pip install portkey-ai一行代码切换 LLM 供应商，内置故障转移和负载均衡。
Portkey 是 AI 网关，提供统一的 OpenAI 兼容 API，跨 200+ 模型路由请求，支持自动故障转移、负载均衡、缓存和成本追踪。
一句话总结：Portkey AI Gateway 为 200+ LLM 提供统一 API 层，包含路由、故障转移、缓存、护栏和成本追踪。
主模型失败自动切换到备用模型。
按权重分配请求到多个 API Key 或模型。
相似请求复用缓存，降低成本和延迟。
输入输出检查：PII 检测、注入防护、毒性过滤。
实时仪表盘显示按模型、用户、功能的花费。
Q: 开源吗？ A: 网关开源，也有托管云版本。
Q: 延迟开销？ A: 直接路由 < 5ms，语义缓存约 10ms 但省去完整 LLM 调用。
Build AI agents with Alibaba Qwen models featuring tool calling, code execution, RAG, and browser control. Supports MCP protocol and custom tool development.
Autonomous AI coding agent that lives in VS Code. Cline creates files, runs commands, uses MCP servers, and handles multi-step tasks with Claude or GPT models.