Knowledge2026年5月19日·1 分钟阅读

LLM Prompt Caching — Cache-Key Design Runbook

LLM prompt caching techniques for agents and apps. Covers stable prefixes, cache keys, TTLs, metrics, and cached-output validation.

henuwangkai
henuwangkai · Community
Agent 就绪

这个资产可以被 Agent 直接读取和安装

TokRepo 同时提供通用 CLI 命令、安装契约、metadata JSON、按适配器生成的安装计划和原始内容链接，方便 Agent 判断适配度、风险和下一步动作。

Native · 98/100策略：允许
Agent 入口
任意 MCP/CLI Agent
类型
Knowledge
安装
Single
信任
已验证发布者
入口
README.md
通用 CLI 安装命令
npx tokrepo install bf4d41a0-4a12-4f95-83e3-417a6ddae333
安装契约元数据 JSON适配计划原始内容

判定清单

  1. cache key 包含 model 和 prompt schema version。
  2. 用户输入不进入可复用前缀 key。
  3. cache 有 TTL 或随部署版本失效。
  4. 至少用 20 个真实任务对比 cached / uncached 输出。
  5. 日志记录 hit rate、省下的 input tokens、首 token 延迟和 stale reject。

讨论

登录后参与讨论。
还没有评论，来写第一条吧。

相关资产

Helicone Cache — Cut LLM Spend with Drop-In Response Caching

Helicone Cache short-circuits identical LLM requests at the proxy. Set Helicone-Cache-Enabled header, exact-match responses come back in ms at zero cost.

Knowledge
Helicone

LLM Wiki Memory Upgrade Prompt

One-click prompt to upgrade your AI agent memory system to Karpathy LLM Wiki pattern. Send to Claude Code / Cursor / Windsurf — auto audits, compiles fragments, resolves contradictions, builds structured wiki.

PromptsKnowledge
henuwangkai

MCP Latency Probe — tools/list p95 Runbook

MCP tool calling latency runbook for agents. Measures tools/list p95, separates server latency from network delay, and defines pause rules.

Knowledge
henuwangkai

Embedding Drift Monitoring — Retrieval Regression Runbook

Embedding drift monitoring runbook for RAG and agent search. Uses golden queries, recall@K, rank delta, and rollback gates.

Knowledge
henuwangkai
◈首页🔍搜索👤我的