PromptFlow — Build and Test LLM Apps

简介

PromptFlow 是用于构建与测试 LLM 应用的 CLI + flow 框架。安装 promptflow 与 promptflow-tools 后，可用 pf flow init 初始化，再用 pf flow test 交互测试。

• 适合谁（Best for）: 要交付 LLM 应用的团队，希望用 flow 方式做开发闭环：模板、连接管理、批量测试与评估流程
• 兼容工具（Works with）: Python（仓库推荐 3.9–3.11）、pf CLI、OpenAI/Azure OpenAI 连接（仓库 quickstart）
• 安装时间（Setup time）: 14 分钟

量化信息

• 仓库推荐 Python 3.9–3.11
• 装机约 14 分钟
• CLI 命令：pf flow init、pf flow test（仓库）

实战要点

把 PromptFlow 当作团队的 LLM 开发闭环：用模板创建 flow，把连接配置沉淀成命名资源，本地先交互测试。再接入批量测试与评估，让每次 prompt 变更都有可量化结果。对 agent 来说，把每个工具步骤建模成节点，能用节点级输入/输出快速定位失败原因。

安全提示： 密钥放在 connection 里，不要写进提交到 git 的 YAML；定期轮换并收紧权限范围。

FAQ

Q: 必须用 Azure 吗？ A: 不必。README 同时提供 OpenAI 与 Azure OpenAI 的连接示例；你可以本地先跑起来。

Q: 什么时候用 flow，什么时候写代码？ A: 可复用的 LLM 流水线（prompt → 工具 → 评估）用 flow；定制逻辑与集成用代码。

Q: 如何保证质量？ A: 用批量测试与评估跑分；把 prompt 当作可版本化产物，并用评估指标作为发布门槛。