AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

MLA-C02 · LESSON 3

ML 和 AI 工作流的部署与编排24% · 3 个主题

学习 ML 和 AI 模型的部署基础设施、资源的预置与配置，以及 MLOps 的自动化与 CI/CD。

3.1管理部署基础设施

3.1 管理 ML 和 AI 模型类型的部署基础设施。

概念

SageMaker 的推理选项有实时推理（低延迟、常驻运行）、无服务器推理（间歇性流量、有冷启动）、异步推理（大负载、长时间处理、队列接收、可缩减到 0 台）和批量转换（大量数据的批量处理）。大量小模型用多模型终端节点、多个容器用多容器终端节点进行整合。

原理、步骤

  1. 确认延迟、负载大小、处理时间和流量模式
  2. 低延迟、持续使用用实时推理，间歇性使用用无服务器推理
  3. 大输入或需要几分钟的处理用异步推理
  4. 定期的大量预测用批量转换
  5. 按客户的大量模型用多模型终端节点整合

工作中的示例

把按客户划分的 1,000 个需求预测模型整合到一个多模型终端节点中，只把被调用的模型加载到内存，降低费用。

易混淆点、考试注意事项

小测验

Q1. 要在 SageMaker AI 终端节点上运行自己的推理容器。放置容器最恰当的地方是哪一项？

  1. 把镜像推送到 Amazon ECR 存储库
  2. 只把 Dockerfile 放在 Amazon S3 存储桶中
  3. 把源代码放在 Amazon EFS 文件系统中
  4. 放在负责人电脑的本地注册表中
查看答案和解析

正确答案：A 把镜像推送到 Amazon ECR 存储库

SageMaker AI 从 ECR 获取容器镜像。

Q2. 关于 SageMaker 无服务器推理，错误的说明是哪一项？

  1. 不使用时容量为 0，只按使用量计费
  2. 需要设置内存大小和最大并发数
  3. 可以指定 GPU 实例运行大型深度学习模型
  4. 一段时间不使用后，首次请求可能发生冷启动
查看答案和解析

正确答案：C 可以指定 GPU 实例运行大型深度学习模型

无服务器推理不支持 GPU。需要 GPU 时使用实时推理或异步推理。

参考链接

3.2预置和配置资源

3.2 根据现有架构和要求，预置和配置 ML 和 AI 工作负载的资源。

概念

根据要求配置终端节点的实例类型（CPU、GPU、Inferentia）和规格、自动扩缩（目标跟踪：InvocationsPerInstance 等）以及在 VPC 中的部署。SageMaker Inference Recommender 通过负载测试推荐最佳实例。基础设施用 CloudFormation 或 CDK 定义，Bedrock 还支持导入自有模型（Custom Model Import）。

原理、步骤

  1. 用 Inference Recommender 比较候选实例的性能和费用
  2. 设置自动扩缩策略以及最小和最大实例数
  3. 把终端节点放在 VPC 中，只允许必要的通信
  4. 用 IaC 定义终端节点的配置
  5. 在外部训练的模型也可考虑 Bedrock 的 Custom Model Import

工作中的示例

对于图像分类终端节点，根据 Inference Recommender 的结果选择比 GPU 更便宜的 Inferentia 实例，并按每个实例的调用数扩缩。

易混淆点、考试注意事项

小测验

Q1. 在实时终端节点上，处理需要 3 分钟的大文档请求因超时而失败。回答不需要立即返回。接下来最恰当的做法是哪一项？

  1. 迁移到无服务器推理端点，并增加内存
  2. 每次请求时启动一个 Batch Transform 作业处理
  3. 换用更大的实例，把处理时间控制在上限内
  4. 迁移到异步推理端点，把结果输出到 S3 并通知完成
查看答案和解析

正确答案：D 迁移到异步推理端点，把结果输出到 S3 并通知完成

实时推理有响应时间上限。长时间处理要使用最长可处理 1 小时的异步推理。【其他选项】无服务器推理也有响应时间上限。更大的实例不保证能在上限内完成。按请求启动 Batch Transform 启动慢，不适合单个请求。

Q2. 在把新模型发布到生产之前，希望调查哪种实例类型能满足延迟和费用的要求。最恰当的方法是哪一项？

  1. 用 SageMaker Debugger 查看训练资源使用率，选择相同类型
  2. 用 SageMaker Inference Recommender 对候选实例进行负载测试
  3. 按 Compute Optimizer 的建议选择推理实例类型
  4. 用 SageMaker Model Monitor 监控并比较生产环境的延迟指标
查看答案和解析

正确答案：B 用 SageMaker Inference Recommender 对候选实例进行负载测试

Inference Recommender 在候选实例上进行负载测试，比较延迟、吞吐量和费用。【其他选项】Model Monitor 是上线后的监控。Compute Optimizer 不对 SageMaker 端点做负载测试。训练资源使用率不能说明推理性能。

参考链接

3.3实现 MLOps 的自动编排与 CI/CD

3.3 为 MLOps 和 AI 工作负载实现自动编排以及持续集成和持续交付（CI/CD）管道。

概念

SageMaker Pipelines 自动化数据处理 → 训练 → 评估 → 条件（是否满足标准）→ 模型注册的流程。用 CodePipeline 等把 Model Registry 中获批的模型从预发布部署到生产。用部署防护机制（蓝/绿：一次性、金丝雀、线性，以及基于告警的自动回滚）安全地切换。

原理、步骤

  1. 在 Pipelines 中定义处理、训练、评估和注册的步骤
  2. 只有评估结果满足标准时才注册模型（条件步骤）
  3. 用 Model Registry 的审批启动部署管道
  4. 用部署防护机制设置金丝雀切换和自动回滚
  5. 在数据到达时或按计划启动管道

工作中的示例

新数据到达 S3 后，由 EventBridge 启动 Pipelines，AUC 达到 0.85 以上则注册，获批后 CodePipeline 以金丝雀方式发布到生产。

易混淆点、考试注意事项

小测验

Q1. 希望在更新终端节点模型的过程中，错误率上升时自动回退到之前的模型。最恰当的方法是哪一项？

  1. 在部署防护机制中指定 CloudWatch 告警，并设置自动回滚
  2. 每次更新都先删除终端节点再重建，失败了就再重建
  3. 负责人 24 小时盯着屏幕，错误增加时手工回退到之前的模型
  4. 禁用错误率告警，使模型更新期间不向负责人发送通知
查看答案和解析

正确答案：A 在部署防护机制中指定 CloudWatch 告警，并设置自动回滚

部署防护机制在指定的 CloudWatch 告警触发时，自动回退到之前的实例集。

Q2. 希望 Model Monitor 发现数据漂移违规时，自动启动重新训练管道。最恰当的配置是哪一项？

  1. 用 SNS 把违规通知负责人，由负责人启动管道
  2. 用 EventBridge 接收违规告警，启动 SageMaker Pipelines 的执行
  3. 把 Model Monitor 的监控计划改为每小时，提早发现违规
  4. 加入 SageMaker Clarify 的偏差监控，调查漂移的原因
查看答案和解析

正确答案：B 用 EventBridge 接收违规告警，启动 SageMaker Pipelines 的执行

EventBridge 规则可以以告警或计划为触发启动 SageMaker Pipelines。【其他选项】提高监控频率不会启动重新训练。SNS 通知仍需人工操作，并非自动。Clarify 只是增加检测，不会触发重新训练。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）