AB-620 · LESSON 3
测试和管理代理20–25% · 2 个主题
学习如何评估代理性能，以及为 Copilot Studio 代理实施应用程序生命周期管理（ALM）。
3.1评估代理性能
Evaluate agent performance
概念
代理评估是用一组测试问题自动给回答评分，从而衡量质量。在 Copilot Studio 的代理评估中，创建测试集（手动、CSV 或生成），并评估回答质量或与预期答案的一致程度。发布后，用分析（解决率、上报率、满意度、知识使用情况）寻找改进点。
原理、步骤
- 创建由代表性问题和预期答案组成的测试集
- 运行评估，查看合格与否及其原因
- 修正失败原因（知识缺失、指令含糊、工具说明）后重新评估
- 发布后在分析仪表板上监视解决率和上报
- 每次更改后都用同一测试集检查回归
工作中的示例
在 IT 帮助代理的 100 题测试集中，密码重置问题不合格；修正原因（过时的操作手册）后，在重新评估中确认合格。
易混淆点、考试注意事项
- 仅在测试窗格中手动确认，容易漏掉更改引起的回归
- 分析指标来自发布后的实际使用数据
- 预期答案要随知识的最新内容更新
小测验
Q1. 你希望持续评估代理的质量。构建测试集最合适的方法是什么？
- 准备代表性问题与预期答案（应满足的条件）的配对，每次变更后重新运行
- 只收集用户评价差的对话，用来重现有问题的回答
- 从生产日志中随机抽取问题，每次用不同的问题评估
- 记录开发者构建时尝试过的问题，在首次发布前确认一次结果
查看答案和解析
正确答案：A 准备代表性问题与预期答案（应满足的条件）的配对，每次变更后重新运行
反复运行固定的测试集，可以检测到变更引起的质量下降（回归）。【其他选项】每次问题不同就无法比较变更前后。发布前只确认一次不算持续评估。仅凭差评对话无法覆盖代表性问题。
Q2. 测试结果显示有许多错误回答。最合适的改进方式是什么？
- 把失败的问题加入主题的触发短语，改为返回固定答案
- 按原因（知识缺失、路由错误、工具失败、权限不足等）对失败分类并分别处理
- 通过自定义提示切换到更大的模型，看整体正确率是否提高
- 放宽内容审核，减少代理拒绝回答的情况后重新测试
查看答案和解析
正确答案：B 按原因（知识缺失、路由错误、工具失败、权限不足等）对失败分类并分别处理
修正方法取决于原因。抹掉失败的用例违背了评估的目的。【其他选项】不找原因就把问题做成主题，或更改模型、审核，都无法解决知识缺失或权限等根本原因。
参考链接
3.2为 Copilot Studio 中的代理实施应用程序生命周期管理（ALM）
Implement application lifecycle management (ALM) for agents in Copilot Studio
概念
ALM 是在开发、测试和生产环境之间安全地管理和迁移代理的机制。把代理、流、连接器和环境变量打包到 Power Platform 解决方案中，并以托管解决方案导入生产。用 Power Platform 管道、Azure DevOps 或 GitHub 自动化迁移，并通过 Git 集成管理源代码。
原理、步骤
- 分离开发、测试和生产环境
- 把代理及相关组件放入同一个解决方案
- 因环境而异的值用环境变量，连接用连接引用
- 以托管解决方案导入测试和生产
- 用管道自动化迁移，并加入审批
工作中的示例
用 Power Platform 管道把开发环境的代理部署到测试环境进行评估，审批后再以托管解决方案部署到生产。
易混淆点、考试注意事项
- 在生产中进行非托管更改，会在下次部署时引发冲突
- 不使用环境变量和连接引用，就得在每个环境中手动重新设置
- 未包含在解决方案中的组件不会被迁移
小测验
Q1. 你希望把在开发环境中构建的代理迁移到生产环境。标准方法是什么？
- 在生产环境中创建代理副本，并手动匹配开发环境的设置
- 用代码编辑器导出代理的主题，粘贴到生产环境
- 把开发环境的代理共享给生产用户直接使用
- 把代理放入解决方案，以解决方案为单位迁移
查看答案和解析
正确答案：D 把代理放入解决方案，以解决方案为单位迁移
解决方案是在环境之间迁移的单位。手动重建会产生差异和遗漏。【其他选项】粘贴主题或手动重现容易遗漏。把开发环境当作生产使用会破坏环境分离。
Q2. 你希望把已经创建好的代理纳入 ALM 管理。合适的做法是什么？
- 导出代理并在新环境中重建
- 让代理保留在默认解决方案中直接迁移
- 将代理的主题逐一移到另一个解决方案
- 将现有代理添加到解决方案
查看答案和解析
正确答案：D 将现有代理添加到解决方案
现有代理也可以添加到解决方案中。【其他选项】无需重建。默认解决方案不适合作为迁移单位。需要添加的是代理本身，而不只是其主题。
参考链接
课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。
使用须知（非官方、原创题目、不保证合格）
- 本站题目是根据官方公开的技能大纲和考试指南独立编写的原创练习题，并非真实考试题目。
- Microsoft、Azure、Copilot、Microsoft 365、Dynamics 365、Power Platform 是 Microsoft 集团的商标。本站与 Microsoft 无合作关系，也未获得 Microsoft 的认可或推荐。
- 本内容仅为学习辅助，不保证考试合格。考试内容、形式和前提条件可能随时变更，参加考试前请务必在官方页面确认最新信息。
- 模拟考试的正确率无法换算为官方（换算）分数，也不能预测是否合格。
- 进度仅保存在本浏览器（localStorage）中；使用 Google 登录后才会同步到账号。可在“Cookie 与存储设置”页面（日语）中删除。