AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

PMLE · LESSON 6

第 6 部分：监控 AI 解决方案約13% · 2 个主题

学习 AI 的风险・负责任 AI・可解释性，以及模型的持续监控与评估。

6.1AI 的风险・负责任 AI・可解释性

AI 的风险（数据外泄、恶意提示、向 LLM 分享机密信息，Regex・安全过滤器・Model Armor）、负责任 AI（偏见监控）、Explainable AI

概念

AI 的风险包括数据外泄、恶意提示（提示注入・越狱）、向 LLM 输入机密信息等。对策包括正则表达式等输入・输出过滤、安全过滤器，以及检查提示和响应的 Model Armor。负责任 AI 要监控偏见，并用 Explainable AI（特征归因：Sampled Shapley・Integrated Gradients 等）说明预测的理由。

原理、步骤

  1. 列出预期的威胁（外泄・注入）
  2. 用 Model Armor 和安全过滤器检查输入输出
  3. 按属性监控性能，确认是否存在偏见
  4. 用 Explainable AI 展示特征的贡献

工作中的示例

在面向客户的聊天中，用 Model Armor 检查提示注入和机密信息的输出，并拦截有问题的响应。

易混淆点、考试注意事项

小测验

Q1. 员工可能把客户数据粘贴到生成式 AI 聊天中。最合适的对策是哪项？

  1. 用 Model Armor 检查 LLM 输出并拦截有害内容
  2. 在输入 LLM 前检测并遮盖敏感数据
  3. 制定使用规定，培训员工不要输入客户数据
  4. 把提示日志保存到 Cloud Logging，事后审计
查看答案和解析

正确答案：B 在输入 LLM 前检测并遮盖敏感数据

结合 Model Armor 和 Sensitive Data Protection。【其他选项】日志审计是事后确认。培训重要但不能防止失误。检查输出无法阻止已输入的敏感数据被共享。

Q2. 想向审核人员说明每个信贷决定的理由。Explainable AI 最准确的优势是哪项？

  1. 能提高精度并减少错误
  2. 能显示各特征对单个预测的贡献程度
  3. 能显示因果关系并保证改变结果的方法
  4. 能自动保证模型公平性
查看答案和解析

正确答案：B 能显示各特征对单个预测的贡献程度

归因是解释的参考，并不表示因果。【其他选项】归因只表示贡献，不表示因果。它不保证公平，也不提高精度。

参考链接

6.2Model Monitoring 与持续评估

用 Model Monitoring 进行持续评估，训练与服务偏差・数据漂移・概念漂移・特征归因漂移，生成式 AI 的监控・测试・评估

概念

Model Monitoring 监控生产中的输入和预测，检测训练与服务偏差（训练数据与生产输入的差异）、数据漂移（生产输入随时间的变化）以及特征归因漂移。概念漂移是输入与正确答案之间的关系本身发生变化，需要与真实标签比较才能发现。生成式 AI 用评估服务定期衡量质量并持续测试。

原理、步骤

  1. 设置基准数据（训练数据）和阈值
  2. 监控偏差和漂移并设置警报
  3. 收集真实标签，确认准确度是否下降（概念漂移）
  4. 生成式 AI 用评估数据定期衡量质量

工作中的示例

疫情期间购买行为发生变化，输入分布看似相近，但与需求的关系已改变（概念漂移），因此用最新数据重新训练。

易混淆点、考试注意事项

小测验

Q1. 设置 Model Monitoring 的目的，最合适的是哪项？

  1. 自动重新标注训练数据
  2. 在训练过程中自动降低训练损失
  3. 定期自动更改端点 URL
  4. 检测偏差和漂移并发出通知
查看答案和解析

正确答案：D 检测偏差和漂移并发出通知

设置持续评估指标，并把警报与重新训练联系起来。

Q2. 检测偏差所需要的，最合适的是哪项？

  1. 作为比较基准的训练数据
  2. 只有生产端点 URL 的列表
  3. 只有模型开发者的姓名和联系方式
  4. 只有笔记本文件的列表
查看答案和解析

正确答案：A 作为比较基准的训练数据

比较训练数据的分布与生产的分布。漂移则与过去的生产数据比较。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）