AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

AB-100 · LESSON 3

部署 AI 驱动的业务解决方案40–45% · 4 个主题

学习如何分析、监视和调整 AI 解决方案，管理测试，设计 ALM，以及设计负责任 AI、安全、治理、风险管理和合规。

3.1分析、监视和调整 AI 解决方案

Analyze, monitor, and tune AI-powered business solutions

概念

发布后，通过监视使用情况（使用率、活跃用户）、质量（解决率、满意度、升级）和成本（消息和令牌消耗）持续改进。可以使用 Copilot Studio 分析、Microsoft 365 Copilot 使用情况仪表板、Azure Monitor 等。

原理、步骤

  1. 准备 KPI 仪表板
  2. 分析未能解决的对话和升级的原因
  3. 改进知识、指示和工具并衡量效果
  4. 监视成本消耗，设置上限和警报
  5. 定期与相关人员复盘并重新审视优先级

工作中的示例

分析升级率高的“合同变更”对话，在知识中补充操作步骤，两周内把升级率从 30% 降到 12%。

易混淆点、考试注意事项

小测验

Q1. 对于在生产中运行的代理，作为监视流程首先应确定的是哪一项？

  1. 每位开发人员的变更数、主题数、代理的发布频率和负责人列表
  2. 要监视的指标（解决率、升级率、响应质量、错误率）以及确认的频率和负责人
  3. 各用户部门的使用次数以及代理的发布日期
  4. 代理的主题数和知识源的登记数
查看答案和解析

正确答案：B 要监视的指标（解决率、升级率、响应质量、错误率）以及确认的频率和负责人

不确定指标、频率和负责人，监视就会流于形式。【其他选项】使用次数、发布日期、主题数和变更数都不是监视质量或问题的指标。

Q2. 收到了大量用户反馈。将其转化为改进的合适推进方式是哪一项？

  1. 按收到的顺序把反馈交给开发人员，按到达顺序修正
  2. 汇总正面反馈报告效果，负面意见逐个处理
  3. 分析反馈和使用情况，整理为积压工作，按优先级改进
  4. 按部门汇总反馈数量，从数量多的部门的需求开始处理
查看答案和解析

正确答案：C 分析反馈和使用情况，整理为积压工作，按优先级改进

把反馈作为积压工作管理，并按影响程度排定优先级。【其他选项】仅凭数量无法了解影响的大小。只有正面意见无法带来改进。按到达顺序无法排定优先级。

参考链接

3.2管理 AI 解决方案的测试

Manage the testing of AI-powered business solutions

概念

AI 测试除了传统的功能测试外，还要评估回答质量、安全性、偏见以及工具操作的准确性。组合使用基于测试集的自动评估、业务人员的用户验收测试（UAT）、对抗性测试（红队测试）和负载测试。

原理、步骤

  1. 创建包含代表性问题、边界案例和应拒绝请求的测试集
  2. 确定自动评估的合格标准
  3. 由业务人员进行验收测试
  4. 进行提示攻击等对抗性测试
  5. 每次变更时运行回归测试

工作中的示例

上线前由业务部门 10 人进行两周的验收测试，自动评估确认 90% 合格，并通过红队测试确认没有信息泄露路径。

易混淆点、考试注意事项

小测验

Q1. 你希望使用基于 AI 的工具提高分析和调整代理问题的效率。合适的思路是哪一项？

  1. 以 AI 的分析结果为线索，但变更要在通过评估确认效果后再应用
  2. 每周只报告 AI 工具分析结果的摘要，不变更代理
  3. 不经评估就把 AI 工具的改进建议自动应用到生产代理
  4. AI 工具可能出错所以不使用，由负责人逐条阅读对话分析原因
查看答案和解析

正确答案：A 以 AI 的分析结果为线索，但变更要在通过评估确认效果后再应用

即使是 AI 的分析，在应用变更前也要通过评估验证。【其他选项】全部手工处理效率低下。只报告无法带来改进。不经评估自动应用可能降低质量。

Q2. 你希望验证从接单到开票，跨 Sales、Supply Chain、Finance 多个 Dynamics 365 应用的 AI 功能。合适的测试是哪一项？

  1. 确认各应用每个画面的显示
  2. Finance 应用中开票处理的集成测试
  3. 贯穿整个业务流程的端到端测试场景
  4. 各应用中每个 AI 功能的单元测试
查看答案和解析

正确答案：C 贯穿整个业务流程的端到端测试场景

对跨应用的业务，不用端到端场景就会遗漏联动部分的缺陷。【其他选项】仅靠单元测试、单个应用中的确认或画面显示，无法验证跨多个应用的业务流程。

参考链接

3.3设计 AI 解决方案的 ALM 流程

Design the ALM process for AI-powered business solutions

概念

ALM 是把开发、测试和生产环境分开，用解决方案和管道管理和迁移变更的流程。使用 Power Platform 解决方案（托管和非托管）、环境变量和连接引用、Power Platform 管道以及 Azure DevOps 或 GitHub，Foundry 一侧的资产也用代码管理。

原理、步骤

  1. 确定环境策略（开发、测试、生产以及默认环境的处理）
  2. 确定解决方案的单位和负责人
  3. 把各环境的值设为环境变量和连接引用
  4. 用管道和批准实现迁移自动化
  5. Foundry 的提示和代理定义也用 Git 管理

工作中的示例

Copilot Studio 代理走 Power Platform 管道，Foundry 代理和提示走 GitHub Actions，两者纳入同一个发布批准流程。

易混淆点、考试注意事项

小测验

Q1. 设计 AI 模型和代理所用数据的 ALM。合适的是哪一项？

  1. 用 Git 管理模型和代理的版本，数据引用生产的最新状态
  2. 管理数据的版本、来源和更新步骤，并与模型和代理的变更相对应
  3. 把生产数据复制到开发人员的 PC 上，由各人管理版本
  4. 数据只保留最新状态，每次更新时覆盖
查看答案和解析

正确答案：B 管理数据的版本、来源和更新步骤，并与模型和代理的变更相对应

不管理数据的版本和来源，就无法追踪质量的变化。【其他选项】在个人 PC 上管理无法管控。覆盖不会留下历史。不管理数据版本就不知道与模型变更的对应关系。

Q2. 设计 Copilot Studio 代理、连接器和操作的 ALM。合适的是哪一项？

  1. 在生产环境中直接编辑代理，并把变更点记录在记录表中
  2. 用解决方案迁移代理，连接器的连接和 URL 在生产中手工重建
  3. 把在开发环境中创建的代理在生产环境中再手工重建一次
  4. 打包为解决方案，用环境变量和连接引用吸收环境差异，并通过管道迁移
查看答案和解析

正确答案：D 打包为解决方案，用环境变量和连接引用吸收环境差异，并通过管道迁移

解决方案、环境变量、连接引用和管道是 Copilot Studio ALM 的基础。【其他选项】手工重建会产生差异。直接编辑生产无法管控。手工创建连接无法吸收环境差异。

参考链接

3.4设计负责任 AI、安全、治理、风险和合规

Design responsible AI, security, governance, risk management, and compliance

概念

组合负责任 AI 的原则（公平性、可靠性和安全性、隐私和安全、包容性、透明度、问责制）、Microsoft Purview（敏感度标签、DLP、审核）、Power Platform 的 DLP 策略和环境治理以及 Microsoft Entra ID 的访问管理，管理 AI 解决方案的风险。

原理、步骤

  1. 按影响大小和数据敏感度评估风险
  2. 整理敏感度标签和权限，避免 Copilot 引用过多信息
  3. 用 Power Platform 的 DLP 策略控制可用的连接器
  4. 设计内容安全设置、人工批准和 AI 使用的标示
  5. 用审核日志和保留策略满足法规要求

工作中的示例

引入 Copilot 前，审视 SharePoint 的过度共享，限制对机密标签文档的访问，并用 DLP 策略限定代理可使用的连接器。

易混淆点、考试注意事项

小测验

Q1. 发布前，你希望确认解决方案符合负责任 AI 的原则。合适的推进方式是哪一项？

  1. 从公平性、可靠性与安全性、隐私、透明度和问责制的角度进行审查，并记录问题和对策
  2. 只从安全和隐私的角度审查，由于是用户较少的内部应用，省略其他角度
  3. 进行安全漏洞诊断，仅根据其结果做出判断
  4. 由开发人员自行申报对原则的遵循情况，并据此批准
查看答案和解析

正确答案：A 从公平性、可靠性与安全性、隐私、透明度和问责制的角度进行审查，并记录问题和对策

需要从原则的角度进行审查并留下记录。【其他选项】无论规模大小都需要审查。仅靠自行申报不够客观。漏洞诊断只是负责任 AI 角度的一部分。

Q2. 启用托管环境的最合适优点是哪一项？

  1. 不再需要使用环境所需的 Power Apps 许可证
  2. 业务所需的代理会根据需求自动创建
  3. 可以使用共享限制、使用情况洞察、解决方案检查等管控功能
  4. 数据策略（DLP）的设置会根据使用情况自动创建，因此不再需要
查看答案和解析

正确答案：C 可以使用共享限制、使用情况洞察、解决方案检查等管控功能

托管环境提供共享限制、使用情况分析、解决方案检查等管控功能。【其他选项】托管环境不会免除许可证或 DLP，也不是自动创建代理的功能。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）