AI Agent Evals — GitHub Action for CI Scoring

简介

Microsoft AI Agent Evals 是一个 GitHub Action：在 CI/CD 中基于数据集与评估器离线跑 agent 评测，让每次 PR 都有可量化的质量闸门与可审计输出。

• 适合谁： 使用 GitHub Actions 的团队，希望把 agent 质量检查前置到每次 PR
• 可搭配： GitHub Actions；基于数据集 JSON 与 Foundry 评估器；示例工作流包含 Azure 登录步骤
• 准备时间： 25 分钟

实战建议

• 准备时间约 25 分钟（接入工作流 + 准备一个最小数据集 JSON）
• 两项可量化检查：Action 能跑通；Summary 里有可对比的评测输出
• GitHub stars / forks（已核验）：见「来源与感谢」

最稳妥的接入方式：先用 “tiny dataset” + 1 个评估器跑通，再逐步扩展覆盖。数据集建议放在仓库内版本化，让它也走 PR 审核。

实用 CI 模式：

• 在 pull_request 与 main push 上运行。
• 关键指标回退超过阈值就让 Job 失败。
• 把评测报告/summary 保存为 artifact，便于审计与回溯。

不要只 judge 最终答案：当你的 agent 具备执行能力时，应把工具轨迹与系统级检查纳入评测。

FAQ

一定要大数据集吗？ 答：不需要。先用最小数据集跑通，再随着 agent 能力增长逐步补齐。

结果显示在哪里？ 答：README 说明评测输出会出现在 GitHub Actions 的 run summary 区域。

怎么把它变成闸门？ 答：把回归条件写成失败规则，并把该检查设为合并前必过。