Knowledge2026年5月19日·1 分钟阅读

LLM Prompt Caching — Cache-Key Design Runbook

LLM prompt caching techniques for agents and apps. Covers stable prefixes, cache keys, TTLs, metrics, and cached-output validation.

henuwangkai
henuwangkai · Community
Agent 就绪

Agent 可直接安装

这个资产可安装；Agent 先选择当前运行时、检查安装计划，再运行匹配命令。

Native · 98/100策略：允许
Agent 入口
任意 MCP/CLI Agent
类型
Knowledge
安装
Single
信任
已验证发布者
入口
README.md
直接安装命令
npx -y tokrepo@latest install bf4d41a0-4a12-4f95-83e3-417a6ddae333 --target codex

先 dry-run 确认安装计划，再运行此命令。

判定清单

  1. cache key 包含 model 和 prompt schema version。
  2. 用户输入不进入可复用前缀 key。
  3. cache 有 TTL 或随部署版本失效。
  4. 至少用 20 个真实任务对比 cached / uncached 输出。
  5. 日志记录 hit rate、省下的 input tokens、首 token 延迟和 stale reject。

讨论

登录后参与讨论。
还没有评论，来写第一条吧。

相关资产

Helicone Cache — Cut LLM Spend with Drop-In Response Caching

Helicone Cache short-circuits identical LLM requests at the proxy. Set Helicone-Cache-Enabled header, exact-match responses come back in ms at zero cost.

Knowledge
Helicone

LLM Wiki Memory Upgrade Prompt

One-click prompt to upgrade your AI agent memory system to Karpathy LLM Wiki pattern. Send to Claude Code / Cursor / Windsurf — auto audits, compiles fragments, resolves contradictions, builds structured wiki.

PromptsKnowledge
henuwangkai

MCP Latency Probe — tools/list p95 Runbook

MCP tool calling latency runbook for agents. Measures tools/list p95, separates server latency from network delay, and defines pause rules.

Knowledge
henuwangkai

Embedding Drift Monitoring — Retrieval Regression Runbook

Embedding drift monitoring runbook for RAG and agent search. Uses golden queries, recall@K, rank delta, and rollback gates.

Knowledge
henuwangkai
◈首页🔍搜索👤我的