AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

MLA-C02 · LESSON 4

ML 和 AI 解决方案的运维、监控与保护24% · 3 个主题

学习 ML 和 AI 模型推理与性能的监控、费用与性能的优化，以及工作负载和终端节点的安全。

4.1监控推理和性能

4.1 监控 ML 和 AI 模型的推理和性能。

概念

SageMaker Model Monitor 定期把数据质量、模型质量（与真实标签比较）、偏差漂移和特征归因漂移与基线进行比较检查。比较多个模型时，使用生产变体进行 A/B 测试。生成式 AI 用 CloudWatch 生成式 AI 可观测性监控令牌、延迟和跟踪。

原理、步骤

  1. 在终端节点上启用数据捕获
  2. 根据训练数据创建基线
  3. 按 Model Monitor 的计划检查，并在 CloudWatch 中对违规设置告警
  4. 检测到漂移时启动重新训练管道
  5. 用 A/B 测试在部分流量上比较新模型

工作中的示例

在价格预测模型中，Model Monitor 检测到输入“地区”的分布大幅偏离基线，自动启动重新训练管道。

易混淆点、考试注意事项

小测验

Q1. 希望记录使用 Bedrock 的应用的实际提示和回答，用于质量调查和审计。最恰当的设置是哪一项？

  1. 用 Bedrock 的 CloudWatch 指标记录词元数和延迟
  2. 启用 CloudTrail 数据事件，把 InvokeModel 记录保存到 S3
  3. 启用 Bedrock 护栏的跟踪，记录被拦截的请求
  4. 启用 Bedrock 模型调用日志，输出到 S3 或 CloudWatch Logs
查看答案和解析

正确答案：D 启用 Bedrock 模型调用日志，输出到 S3 或 CloudWatch Logs

模型调用日志记录可以把输入和输出保存到 CloudWatch Logs 或 S3。CloudTrail 是 API 调用的记录，不包含正文。【其他选项】CloudTrail 记录 API 调用，不含提示正文。指标只有数值。护栏跟踪只限于护栏的判定。

Q2. 正在用两个生产变体进行 A/B 测试。判断哪个模型更好的方法，最恰当的是哪一项？

  1. 比较各变体的延迟和错误率，选择较低的
  2. 比较离线验证数据的精度，提高较好者的权重
  3. 比较各变体的 CloudWatch 指标和购买率等业务指标
  4. 比较最初 1 小时的购买率，选择较高的
查看答案和解析

正确答案：C 比较各变体的 CloudWatch 指标和购买率等业务指标

SageMaker AI 按变体输出指标。要在足够长的期间内比较技术指标和业务指标。【其他选项】只看延迟和错误率无法了解业务效果。1 小时太短。离线精度不是在生产用户上的比较。

参考链接

4.2优化基础设施的费用和性能

4.2 优化和管理 ML 和 AI 基础设施的费用和性能。

概念

ML 的费用可以在训练（Spot 训练、合适的实例、提前停止）、推理（Inference Recommender、自动扩缩、多模型终端节点、无服务器、SageMaker 的 Savings Plans）和开发（笔记本自动停止）中优化。用 Cost Explorer 和标签使费用可视化。

原理、步骤

  1. 用 Cost Explorer 和标签掌握各项目的 ML 费用
  2. 训练使用 Spot 训练
  3. 用 Inference Recommender 优化推理实例的规格
  4. 停止或删除未使用的终端节点和笔记本
  5. 稳定的使用采用 SageMaker 的 Savings Plans

工作中的示例

删除夜间不用的开发用终端节点，自动停止 Studio 中空闲的笔记本，使每月费用减少 40%。

易混淆点、考试注意事项

小测验

Q1. 希望把 Bedrock 的费用按财务部和其他部门分开查看。最恰当的方法是哪一项？

  1. 按部门创建应用推理配置文件并添加标签，用成本分配标签汇总
  2. 打印各部门的 AWS 账单，由各部门手工推测并填写各自的使用量
  3. 所有部门使用相同的模型 ID，月末按人数平摊费用
  4. 不按部门区分，全部记为财务部的使用
查看答案和解析

正确答案：A 按部门创建应用推理配置文件并添加标签，用成本分配标签汇总

为应用推理配置文件添加标签，可以按标签跟踪 Bedrock 的使用量和费用。

Q2. 在 Cost Explorer 中看到，SageMaker Studio 中未使用应用的费用很大。接下来最恰当的做法是哪一项？

  1. 停止 Cost Explorer 的显示，让任何人都看不到费用图表
  2. 设置空闲时自动关闭，停止未使用的应用
  3. 增加 Studio 用户数量，让应用被使用起来
  4. 把所有应用的实例改为最大类型，加快工作速度
查看答案和解析

正确答案：B 设置空闲时自动关闭，停止未使用的应用

Studio 的空闲关闭可以自动停止未使用的应用，减少费用。

参考链接

4.3确保工作负载和终端节点的安全

4.3 确保 ML 和 AI 工作负载和模型终端节点的安全。

概念

ML 的安全通过 IAM（用 SageMaker Role Manager 创建按角色的最小权限角色）、网络隔离（在 VPC 中训练和托管、网络隔离模式、VPC 终端节点）、加密（用 KMS 加密 S3、EBS 和训练通信）以及 Bedrock API 密钥等凭证的管理来确保。

原理、步骤

  1. 用 SageMaker Role Manager 创建数据科学家、MLOps 等角色的角色
  2. 把训练作业和终端节点放在 VPC 中，限制对互联网的通信
  3. 用 KMS 加密 S3 和 EBS 的数据
  4. 用 IAM 控制终端节点的调用
  5. Bedrock 的 API 密钥使用短期密钥，长期密钥要严格管理

工作中的示例

以网络隔离模式运行医疗数据的训练作业，完全阻断对外通信，数据通过 VPC 终端节点从 S3 读取。

易混淆点、考试注意事项

小测验

Q1. 希望快速为数据科学家、MLOps 工程师等各角色创建具有合适权限的 SageMaker AI 角色。最恰当的方法是哪一项？

  1. 给所有人的角色附加托管策略 AmazonSageMakerFullAccess
  2. 用 IAM Access Analyzer 生成策略，作为各角色的模板
  3. 在 IAM Identity Center 的权限集中分配 AdministratorAccess
  4. 用 SageMaker Role Manager 按角色画像和 ML 工作创建角色
查看答案和解析

正确答案：D 用 SageMaker Role Manager 按角色画像和 ML 工作创建角色

Role Manager 帮助创建符合角色画像和 ML 作业的最小权限角色。【其他选项】FullAccess 和 AdministratorAccess 违反最小权限。Access Analyzer 生成策略需要过去的操作记录，不适合为新角色快速创建。

Q2. 使用外部提供的算法容器进行训练，希望禁止训练中的容器进行所有对外通信。最恰当的设置是哪一项？

  1. 把实例数设为 1 台，使通信量减少
  2. 在训练作业中启用网络隔离（EnableNetworkIsolation）
  3. 在训练作业名称中写上“禁止外部通信”作为标记
  4. 禁用容器中的日志，使通信记录不留下
查看答案和解析

正确答案：B 在训练作业中启用网络隔离（EnableNetworkIsolation）

启用网络隔离后，训练和推理容器将无法连接到外部网络。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）