简介
Cloudflare AI Gateway 是一个免费的 LLM API 代理网关,GitHub 7,000+ stars。提供缓存、限流、成本分析和故障转移路由。缓存响应可降低最高 95% 的 LLM 成本。适合在生产环境运行 LLM 应用需要成本控制的团队。
Free proxy gateway for LLM API calls with caching, rate limiting, cost tracking, and fallback routing across providers. Reduce costs up to 95% with response caching. 7,000+ stars.
这里应该同时让用户和 Agent 知道第一步该复制什么、安装什么、落到哪里。
client = OpenAI(
base_url="https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway}/openai"
)Cloudflare AI Gateway 是一个免费的 LLM API 代理网关,GitHub 7,000+ stars。提供缓存、限流、成本分析和故障转移路由。缓存响应可降低最高 95% 的 LLM 成本。适合在生产环境运行 LLM 应用需要成本控制的团队。
Created by Cloudflare. Licensed under Apache 2.0.
ai-gateway — ⭐ 7,000+