AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

AI-300 · LESSON 2

实现机器学习模型生命周期和运营25–30% · 4 个主题

学习 ML 的完整生命周期：从训练作业的编排，到模型的注册与版本管理、部署到生产以及在生产中的监视。

2.1编排模型训练

Orchestrate model training

概念

训练以作业的形式运行。命令作业运行一个脚本，扫描作业探索超参数，管道作业连接多个步骤（预处理→训练→评估），AutoML 自动完成模型选择和调整。用 MLflow 记录指标、参数和项目。

原理、步骤

  1. 在训练脚本中使用 mlflow.autolog() 等记录指标
  2. 作为命令作业提交，指定环境、计算资源和输入数据
  3. 在扫描作业中设置搜索空间、采样（随机、网格、贝叶斯）和提前终止策略（如 Bandit）
  4. 把预处理、训练和评估组件化，用管道作业连接
  5. 按计划或事件定期运行管道

工作中的示例

需求预测管道每周一按计划运行，通过扫描探索学习率和树的深度，只把最佳运行传给下一步。

易混淆点、考试注意事项

小测验

Q1. 你希望记录多个训练作业的参数和精度，以便之后比较。合适的是哪一个？

  1. Application Insights
  2. 作业的标准输出日志
  3. 使用 MLflow 进行实验跟踪
  4. 数据资产的标记
查看答案和解析

正确答案：C 使用 MLflow 进行实验跟踪

用 MLflow 记录参数、指标和项目，就能在作业之间比较。【其他选项】标准输出日志没有为比较而结构化。Application Insights 用于运营监视，不用于实验比较。数据资产的标记不记录试验指标。

Q2. 对于不知道哪种算法合适的分类问题，你希望高效地探索候选方案。合适的功能是哪一个？

  1. 负责任 AI 仪表板
  2. 扫描作业（超参数调整）
  3. 自动化机器学习（AutoML）
  4. 设计器管道
查看答案和解析

正确答案：C 自动化机器学习（AutoML）

AutoML 自动探索预处理和算法的组合。【其他选项】扫描作业探索已确定算法的参数。设计器需要手工组建管道。仪表板用于分析模型。

参考链接

2.2实现模型注册和版本管理

Implement model registration and versioning

概念

模型按名称和版本注册到工作区的模型注册表中。以 MLflow 格式注册，无需编写评分脚本和环境即可无代码部署。要在多个工作区（开发、生产）之间共享，使用 Azure Machine Learning 注册表。

原理、步骤

  1. 从最佳作业的项目注册为 MLflow 模型（版本会自动递增）
  2. 用标记和属性记录训练数据版本、评估指标和批准状态
  3. 把模型、环境和组件注册到组织的注册表，从生产工作区引用
  4. 明确投入生产的版本，旧版本不删除而是保留，以备回退

工作中的示例

把在开发工作区注册的 churn-model 第 7 版复制到组织的注册表，生产工作区的终结点从注册表指定版本进行部署。

易混淆点、考试注意事项

小测验

Q1. 已注册的模型不再需要，但为了审计希望保留历史。合适的处理是哪一个？

  1. 只给模型加上“已弃用”标记
  2. 将模型版本存档
  3. 把模型移到另一个工作区
  4. 只删除模型的最新版本
查看答案和解析

正确答案：B 将模型版本存档

存档可以使其从列表中移除，同时保留历史。【其他选项】删除会丢失历史。只加标记仍会显示在列表中。移到另一个工作区会使审计历史分散。

Q2. 你希望把在本地电脑上运行的训练记录保存在 Azure Machine Learning 工作区中。最合适的方法是哪一项？

  1. 把训练结果手工抄写到工作区作业的说明栏
  2. 停止本地训练，在工作区中作为云作业重新运行
  3. 把本地 mlruns 文件夹注册为工作区数据资产
  4. 把 MLflow 的跟踪 URI 设置为工作区
查看答案和解析

正确答案：D 把 MLflow 的跟踪 URI 设置为工作区

把 MLflow 的跟踪 URI 指向工作区，本地训练也能记录到工作区。【其他选项】重新运行是不必要的工作。注册为数据资产不会被当作运行记录。手工抄写易出错，也留不下指标。

参考链接

2.3为生产环境部署机器学习模型

Deploy machine learning models for production environments

概念

终结点是调用的入口，部署是在其背后运行的模型与计算资源的组合。托管联机终结点用于实时低延迟推理，批处理终结点用于大量数据的异步推理。一个终结点可以放置多个部署，并按流量比例切换。

原理、步骤

  1. 创建托管联机终结点，选择身份验证方式（密钥或 Microsoft Entra 令牌）
  2. 创建 blue 部署（当前版本）和 green 部署（新版本），向 green 分配 10% 的流量
  3. 也可以用镜像流量把生产请求的副本发送给新版本，在不返回响应的情况下验证
  4. 如无问题，把 green 设为 100%，删除 blue
  5. 大量的定期推理在批处理终结点上以数据资产为输入运行

工作中的示例

把新的信用评分模型作为 green，以 10% 的流量运行一周，确认错误率和延迟后再全面切换。

易混淆点、考试注意事项

小测验

Q1. 你希望在界面操作过程中即时判断能否接单，同时希望在夜间处理月度需求预测的大量数据。合适的组合是哪一个？

  1. 两者都用联机终结点，月度预测在夜间发送大量请求
  2. 两者都用批处理终结点，即时判断等待作业完成后返回
  3. 即时判断用实时（联机）终结点，月度预测用批处理终结点
  4. 即时判断用批处理终结点，月度预测用实时（联机）终结点
查看答案和解析

正确答案：C 即时判断用实时（联机）终结点，月度预测用批处理终结点

低延迟的单次请求适合联机，大量的异步处理适合批处理。【其他选项】第四项角色颠倒。用联机终结点进行大量处理费用和负载都大。等待批处理完成无法即时判断。

Q2. 你希望持续确认生产模型的输入数据趋势是否与训练时相比发生了变化。合适的是哪一个？

  1. 为终结点的请求数和延迟指标设置阈值警报
  2. 数据偏移监视，以及超过阈值时的警报和重新训练触发
  3. 把推理的输入输出保存到存储，出现问题时再确认
  4. 记录训练时的评估指标，由负责人每季度审视
查看答案和解析

正确答案：B 数据偏移监视，以及超过阈值时的警报和重新训练触发

通过偏移监视尽早发现性能下降的迹象，并衔接到重新训练。【其他选项】请求数和延迟不反映数据趋势。每季度审视或事后确认都不是持续监视。

参考链接

2.4监视和维护生产中的机器学习模型

Monitor and maintain machine learning models in production

概念

模型监视是持续确认生产中的输入和预测是否与训练时相比发生变化的机制。Azure Machine Learning 的模型监视会将数据偏移、预测偏移、数据质量和特征归因偏移与基准数据（如训练数据）比较计算，超过阈值时发出警报。

原理、步骤

  1. 在联机终结点上启用推理数据收集（数据收集器）
  2. 设置监视的基准数据（训练数据或过去的生产数据）、信号和阈值
  3. 按计划运行监视，通过 Azure Monitor 或电子邮件接收警报
  4. 检测到偏移后调查原因，通过管道重新训练、重新注册和重新部署
  5. 也用 Application Insights 监视延迟和错误

工作中的示例

收到流失预测输入中“合同期限”分布大幅变化的警报后，用新数据重新训练，在 green 部署中验证后再切换。

易混淆点、考试注意事项

小测验

Q1. 最合适的每月重新训练机制是哪一项？

  1. 只为训练命令作业设置计划，评估每季度进行一次
  2. 由负责人每月手动运行预处理、训练和评估的笔记本
  3. 按计划运行包含预处理、训练、评估和注册的管道
  4. 每月手动重新设置 AutoML 作业，注册最佳模型
查看答案和解析

正确答案：C 按计划运行包含预处理、训练、评估和注册的管道

为管道设置计划，每月就能以相同步骤重新训练、评估和注册。【其他选项】手动运行会出现遗漏和步骤差异。评估采用不同周期，就会在未确认的情况下使用重新训练的模型。

Q2. 在模型监视中计算数据偏移，需要作为比较基准的数据。最合适作为基准的是哪一项？

  1. 评估所用测试数据的一部分
  2. 随机生成的、具有相同列的数据
  3. 最近 1 天的生产推理输入数据
  4. 训练数据（或经过验证的过去生产数据）
查看答案和解析

正确答案：D 训练数据（或经过验证的过去生产数据）

偏移通过与基准数据（通常是训练数据或稳定时期的生产数据）比较来计算。【其他选项】最近数据之间的比较看不出与训练时相比的变化。少量测试数据作为基准有偏差。随机数据的分布毫无关联。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）