AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

PMLE · LESSON 5

第 5 部分：ML 流水线的自动化与编排約18% · 2 个主题

学习端到端的 ML 流水线，以及重新训练的自动化。

5.1端到端流水线

端到端流水线（数据与模型的验证，Agent Platform Pipelines・Managed Service for Apache Airflow・Ray，训练与服务预处理的一致性）

概念

ML 流水线把数据导入 → 验证 → 预处理 → 训练 → 评估 → 模型验证 → 登记 → 部署自动化。可根据需要选用 Agent Platform Pipelines（Kubeflow Pipelines・TFX 格式）、用于编排广泛工作流的 Managed Service for Apache Airflow（原 Cloud Composer），以及用于分布式处理的 Ray。训练与服务使用相同的预处理，防止训练与服务偏差。

原理、步骤

  1. 把各阶段做成组件，以便复用
  2. 把数据验证（模式・分布）和模型验证（基准指标）作为门禁
  3. 包含非 ML 处理的工作流用 Airflow 管理
  4. 在训练与服务之间共享预处理代码

工作中的示例

在 Pipelines 中，数据分布验证失败就停止训练，只有评估的 AUC 超过当前模型时才进行登记。

易混淆点、考试注意事项

小测验

Q1. 正考虑用 Agent Platform Pipelines 运行 ML 步骤。与 GKE 上的 Kubeflow Pipelines 相比，最准确的优势是哪项？

  1. 可以精细控制 Kubernetes 节点设置
  2. 定义流水线不需要 Kubeflow SDK
  3. 可在本地集群上以相同设置运行
  4. 可无服务器运行，并自动记录产物和沿袭
查看答案和解析

正确答案：D 可无服务器运行，并自动记录产物和沿袭

与 ML Metadata 集成，可复现性高。【其他选项】精细的节点控制是自管 GKE 的优势。Agent Platform Pipelines 仍用 Kubeflow Pipelines 等 SDK 定义。本地运行需 GKE 等自管环境。

Q2. 正在设计训练流水线。把处理拆分为小组件的主要优势是哪项？

  1. 组件越多训练精度越高
  2. 拆分本身就会降低流水线运行费用
  3. 便于复用、测试和缓存，并能从失败处重新运行
  4. 组件间无需传递数据，因此不需要存储
查看答案和解析

正确答案：C 便于复用、测试和缓存，并能从失败处重新运行

缓存可以跳过没有变化的步骤。【其他选项】拆分不改变精度。组件间要传递产物，需要存储。费用可通过缓存降低，仅拆分不会降低。

参考链接

5.2重新训练的自动化

重新训练的自动化（重新训练策略、CI/CD/CT、Cloud Build）

概念

重新训练策略根据计划（定期）、数据到达、检测到性能下降或漂移等条件来确定。结合 CI（代码测试）・CD（部署）・CT（持续训练），用 Cloud Build 实现从代码变更到流水线构建・运行的自动化。

原理、步骤

  1. 确定重新训练的条件（定期・数据・漂移）
  2. 代码变更时用 Cloud Build 进行测试和流水线更新
  3. 由 Model Monitoring 的警报等启动重新训练流水线
  4. 新模型通过评估门禁后再部署

工作中的示例

模型监控发出漂移警报后，经由 Pub/Sub 启动重新训练流水线，只有通过评估时才以金丝雀方式部署新版本。

易混淆点、考试注意事项

小测验

Q1. Cloud Build 在 ML 的 CI/CD 中的作用，最合适的是哪项？

  1. 自动重新标注训练数据
  2. 自动进行测试・构建・部署
  3. 自动监控生产模型的漂移
  4. 自动搜索模型的超参数
查看答案和解析

正确答案：B 自动进行测试・构建・部署

由 Git 触发器启动构建。

Q2. CT（持续训练）的前提，最合适的是哪项？

  1. 新数据由人工复制后交给训练
  2. 训练步骤是笔记本上的手工操作，每次都不同
  3. 模型评估基准尚未确定
  4. 从导入到登记都已自动化
查看答案和解析

正确答案：D 从导入到登记都已自动化

MLOps 的成熟度等级。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）