AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

MLA-C02 · LESSON 2

ML 模型和基础模型（FM）的开发24% · 3 个主题

学习 ML 和 AI 建模方法的选择，模型的训练、微调与定制，以及性能的分析与评估。

2.1选择合适的建模方法

2.1 选择适合 ML 和 AI 解决方案的建模方法。

概念

开发工作量按以下顺序增加：现成的 AI 服务（Rekognition、Comprehend 等）→ 基础模型（Bedrock、JumpStart）→ SageMaker AI 内置算法（XGBoost、线性学习器、k-means、DeepAR、BlazingText 等）→ 自有模型。根据问题类型（分类、回归、时间序列、聚类、图像、自然语言）、数据量、可解释性和费用来选择。

原理、步骤

  1. 把问题转换为 ML 任务
  2. 确认现成的 AI 服务或基础模型是否足够
  3. 表格数据的分类和回归，先从 XGBoost 等内置算法开始尝试
  4. 时间序列预测考虑 DeepAR 等，文本分类考虑 BlazingText 等
  5. 需要可解释性时选择简单的模型

工作中的示例

先用 Bedrock 基础模型的提示尝试咨询分类，只对准确度不足的类别，用带标签的数据构建自己的分类模型。

易混淆点、考试注意事项

小测验

Q1. 在 ML 专家很少的团队中，希望根据表格数据自动创建分类模型并比较候选。最恰当的方法是哪一项？

  1. 把表格数据交给 Bedrock 的基础模型进行分类
  2. 选择 JumpStart 的预训练模型，用表格数据微调
  3. 用 SageMaker Autopilot 自动尝试预处理、算法和调优
  4. 用自动模型调优搜索 XGBoost 的超参数
查看答案和解析

正确答案：C 用 SageMaker Autopilot 自动尝试预处理、算法和调优

Autopilot 根据表格数据自动进行预处理、算法选择和调优，可以比较候选模型。【其他选项】自动模型调优不选择算法，也不做预处理。JumpStart 微调或基础模型都不是自动构建并比较候选的机制。

Q2. 希望从 Bedrock 中选择助手使用的基础模型。最恰当的做法是哪一项？

  1. 用自有问题的评估数据，通过 Bedrock 评估比较质量、延迟和费用
  2. 选择公开基准测试中得分最高的模型，在生产中确认
  3. 从最大的模型开始，费用成为问题时再换小的
  4. 在 Bedrock 的 playground 中试几个代表问题，选择印象最好的
查看答案和解析

正确答案：A 用自有问题的评估数据，通过 Bedrock 评估比较质量、延迟和费用

FM 要用本公司任务的数据比较质量、延迟和费用来选择。可以用 Bedrock 的评估进行比较。【其他选项】公开基准测试不能说明自身用途的质量。少数尝试的印象无法复现。从大模型开始会把费用要求往后推。

参考链接

2.2模型的训练、微调和定制

2.2 训练、微调和定制 ML 和 AI 解决方案的模型。

概念

用 SageMaker 训练作业训练模型，用自动模型调优（超参数优化：贝叶斯、随机、网格、Hyperband）进行调整。用托管 Spot 训练（带检查点）降低费用，用分布式训练更快地训练大型模型。用正则化（L1、L2）、dropout 和提前停止应对过拟合。基础模型可以在 Bedrock 和 JumpStart 中进行微调、持续预训练和蒸馏。

原理、步骤

  1. 确定训练脚本和超参数的搜索范围
  2. 用自动模型调优优化目标指标
  3. 用 Spot 训练和检查点在防备中断的同时降低费用
  4. 观察过拟合的迹象（训练误差与验证误差之差）调整正则化
  5. 用 SageMaker Debugger 检测梯度消失等问题

工作中的示例

用托管 Spot 训练训练图像分类模型，每 30 分钟把检查点保存到 S3，即使被中断也能从中断处继续。

易混淆点、考试注意事项

小测验

Q1. 训练数据的准确度为 99%，但验证数据的准确度只有 70%。最恰当的对策是哪一项？

  1. 增大学习率，训练到训练数据准确度达到 100%
  2. 让模型更大更复杂，并大幅增加训练轮数
  3. 不再使用验证数据，只用训练数据的准确度评估模型
  4. 加强正则化或使用提前停止，也考虑增加训练数据
查看答案和解析

正确答案：D 加强正则化或使用提前停止，也考虑增加训练数据

只有训练准确度高是过拟合。用正则化、dropout、提前停止和增加数据提高泛化性能。

Q2. 训练数据和验证数据的准确度都很低，都停在 60% 左右。最恰当的对策是哪一项？

  1. 增加特征或使用表达能力更强的模型，并减弱正则化
  2. 进一步加强正则化，让模型更难拟合训练数据
  3. 把验证数据混入训练数据，使准确度看起来更高
  4. 把训练数据条数减半，缩短训练时间
查看答案和解析

正确答案：A 增加特征或使用表达能力更强的模型，并减弱正则化

两者都低是学习不足（欠拟合）。要增加模型的表达能力或特征。

参考链接

2.3分析和评估性能

2.3 分析和评估 ML 和 AI 系统的性能。

概念

分类评估使用混淆矩阵、精确率（precision）、召回率（recall）、F1、AUC-ROC，回归使用 RMSE、MAE、R²。实验跟踪使用 SageMaker 的 MLflow，接近生产的验证使用影子测试（用生产流量的副本试用新模型）。基础模型和 RAG 用 Bedrock 的评估（包括知识库评估）衡量正确性、相关性和忠实度。

原理、步骤

  1. 确定符合业务目标的评估指标
  2. 用验证数据比较训练结果，并记录在 MLflow 中
  3. 用学习曲线确认过拟合和欠拟合
  4. 用影子测试在接近生产的条件下比较
  5. 生成式 AI 使用 Bedrock 的评估或基于 LLM 的评估

工作中的示例

在欺诈检测模型中，漏报的损失很大，因此重视召回率并降低阈值，误报的增加由负责人的确认机制来吸收。

易混淆点、考试注意事项

小测验

Q1. 查看欺诈检测模型的混淆矩阵，假阴性（漏报）较多。希望不改变模型而减少漏报。最恰当的调整是哪一项？

  1. 从评估数据中去除所有漏掉的交易
  2. 把假阴性的件数重新计为正确件数
  3. 提高分类阈值，缩小判定为阳性的范围
  4. 降低分类阈值，扩大判定为阳性的范围
查看答案和解析

正确答案：D 降低分类阈值，扩大判定为阳性的范围

降低阈值会提高召回率、减少漏报，但假阳性会增加。要根据业务成本决定。

Q2. 正在运行大量实验，已经搞不清用哪些超参数和数据得到了最佳指标。最恰当的方法是哪一项？

  1. 把各模型登记到 SageMaker Model Registry，用版本号比较
  2. 用托管 MLflow 记录每个实验的参数、指标和产物
  3. 把指标值写入训练作业的标签，用 Resource Groups 列出
  4. 把训练日志输出到 CloudWatch Logs，用 Logs Insights 检索指标
查看答案和解析

正确答案：B 用托管 MLflow 记录每个实验的参数、指标和产物

MLflow 的实验跟踪记录参数、指标和模型，可以进行比较和复现。【其他选项】Model Registry 用于版本管理，不适合比较参数和指标。日志检索或标签无法进行结构化的实验比较。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）