AI 网关全景指南：LLM 成本控制、容灾切换与可观测性（2026）
2026 年生产级 LLM 应用的新基础设施：9 款主流 AI 网关与可观测性工具对比、真实代码示例、成本模型与选型建议。
Cloudflare AI Gateway — LLM 流量的边缘代理
Cloudflare AI Gateway 是免费的边缘代理，夹在你的应用和 LLM 服务商之间——缓存响应、限流防滥用、模型故障切换，并输出分析数据，不改动 SDK 代码。
Portkey — 自带 Prompt 管理与可观测的 AI 网关
Portkey 是端到端的 LLM 控制平面：网关做路由和容灾、Prompt 管理做版本、可观测套件做成本追踪与护栏——统一 API 暴露。
LiteLLM — 支持 100+ 提供商的开源 LLM 代理
LiteLLM 是开源 LLM 代理，把 100+ 家模型 API 统一成 OpenAI SDK 风格。Claude、Gemini、Ollama、Bedrock、Vertex、Azure 全部一个客户端调用。
OpenRouter — 300+ 模型的统一 API，一张账单
OpenRouter 是托管路由服务，把 300+ 款 LLM（OpenAI、Claude、Gemini、Groq/Together/Fireworks 上的开源模型）统一到一个 OpenAI 兼容 API，一张账单结算。
Helicone — 零代码侵入的 LLM 可观测平台
Helicone 是开源 LLM 可观测平台，提供请求日志、成本追踪、用户分析与 prompt 实验——只需改 base URL，一行业务代码不动。
Langfuse — 开源 LLM 工程平台
Langfuse 是主流开源 LLM 工程平台，提供 Trace、Prompt、Eval、Dataset 四件套。用 SDK 或 OpenTelemetry 埋点，即得生产级调试与评估能力。
Kong AI Gateway — 企业级 LLM 代理
Kong AI Gateway 在 Kong API 网关上增加 LLM 专属插件（Prompt 变换、语义缓存、成本限制、护栏），适合已经用 Kong 的团队在同一平面加 AI 管控。
Arize Phoenix — 开源 LLM 可观测与 Eval 平台
Arize Phoenix 是 Arize AI 推出的开源可观测与评估库，原生 OpenTelemetry，评估原语强大——面向希望 Notebook 与生产栈统一的数据科学/ML 工程师。
Traceloop — OpenTelemetry 优先的 LLM 可观测
Traceloop 开源的 OpenLLMetry 是业内主流的 OpenTelemetry LLM 埋点库。Trace 后端可选：Traceloop Cloud、Grafana、Datadog 或你现有的 OTEL 栈。
为什么需要 AI 网关
Direct SDK calls don’t survive production. The first time an OpenAI incident takes your app down, or a Claude price change silently triples your bill, or your CFO asks "which team spent how much on which model last quarter" — you’ll wish you had a gateway in front of your LLM traffic. AI gateways solve the same problems API gateways solved a decade ago, adapted for model routing.
There are two overlapping tool categories. Gateways (Cloudflare, Portkey, LiteLLM, OpenRouter) sit inline on the request path — routing, caching, fallback, rate-limits. Observability platforms (Helicone, Langfuse, Arize Phoenix, Traceloop) sit alongside — tracing, evals, dashboards. Many teams run both.
Typical 2026 stack. Small app: Portkey or Cloudflare AI Gateway (gateway + lightweight observability in one). Mid-size: LiteLLM proxy + Langfuse for traces. Enterprise: Kong AI Gateway for policy + Arize or Langfuse for observability + OpenRouter as a multi-model fallback. Start simple; add components when you can name the specific problem they solve.
常见问题
AI 网关和 API 网关的区别？+
传统 API 网关做路由、认证、限流；AI 网关在此基础上增加：模型路由（按成本/性能/可用性切换）、prompt 缓存、token 预算、以及 LLM 特有的可观测（prompt 版本、cost tracking）。
要用 Cloudflare AI Gateway 还是 Portkey？+
Cloudflare 免费、延迟极低（边缘），观测偏基础。Portkey 功能更全（prompt 管理、virtual keys、guardrails），但要付费。团队小且对边缘延迟敏感选 Cloudflare；需要完整 prompt 生命周期管理选 Portkey。
LiteLLM 能替代 OpenRouter 吗？+
能部分替代——LiteLLM 是自建 proxy（你管理密钥和账单），OpenRouter 是托管服务（它统一开票）。企业合规场景选 LiteLLM，快速启动或多模型实验选 OpenRouter。
Helicone vs Langfuse 怎么选？+
都是开源 LLM 可观测平台。Helicone 以"0-代码侵入"为卖点（代理方式集成），Langfuse 更重追踪和 eval 流程。生产老代码零改动选 Helicone，新项目追求精细 trace 选 Langfuse。