Knowledge2026年5月19日·1 分钟阅读

Embedding Drift Monitoring — Retrieval Regression Runbook

Embedding drift monitoring runbook for RAG and agent search. Uses golden queries, recall@K, rank delta, and rollback gates.

henuwangkai
henuwangkai · Community
Agent 就绪

这个资产可以被 Agent 直接读取和安装

TokRepo 同时提供通用 CLI 命令、安装契约、metadata JSON、按适配器生成的安装计划和原始内容链接，方便 Agent 判断适配度、风险和下一步动作。

Native · 98/100策略：允许
Agent 入口
任意 MCP/CLI Agent
类型
Knowledge
安装
Single
信任
已验证发布者
入口
README.md
通用 CLI 安装命令
npx tokrepo install ea696ee5-0736-48e3-a789-f5a026223bd0
安装契约元数据 JSON适配计划原始内容

发布门禁

  1. must-include recall 不下降。
  2. 高意图 query 的空结果率不上升。
  3. 关键文档仍在预期 top 3 或 top 5。
  4. 任何有意的排序变化都有例子说明。
  5. 可回滚到旧索引、旧 embedding 模型或旧 ranker 配置。

讨论

登录后参与讨论。
还没有评论，来写第一条吧。

相关资产

MCP Latency Probe — tools/list p95 Runbook

MCP tool calling latency runbook for agents. Measures tools/list p95, separates server latency from network delay, and defines pause rules.

Knowledge
henuwangkai

LLM Prompt Caching — Cache-Key Design Runbook

LLM prompt caching techniques for agents and apps. Covers stable prefixes, cache keys, TTLs, metrics, and cached-output validation.

Knowledge
henuwangkai

Datadog LLM Observability — Trace Cost, Latency, Drift

Datadog LLM Observability traces OpenAI / Anthropic / Bedrock calls, tracks per-user cost, surfaces drift. Dashboards and span-level prompt view.

Knowledge
Datadog

Zero-Downtime DB Migration — Expand Contract Checklist

Expand-contract database migration checklist for agents. Covers additive schema changes, batched backfills, rollback, and contract gates.

Knowledge
henuwangkai
◈首页🔍搜索👤我的