MLA-C02 · LESSON 1

ML 和 AI 的数据准备28% · 3 个主题

学习 ML 和 AI 数据的收集与存储、转换与特征工程，以及数据质量验证与偏差管理。

1.1收集和存储数据

1.1 收集和存储数据。

概念

ML 的数据从 S3（数据湖的中心）、EFS 和 FSx for Lustre（用于高速训练的共享文件）、数据库以及流式数据（Kinesis、MSK）中收集。为了分析和训练的效率，格式可选择 Parquet、ORC（列式），SageMaker 训练用的 RecordIO、TFRecord，以及 JSON Lines 等。对于 RAG，还要设计向量存储和知识库的分块策略。

原理、步骤

确认数据的位置、数据量和更新频率
在 S3 中建立数据湖，决定格式和分区
大量数据的高速训练使用 FSx for Lustre（与 S3 联动）
用 Kinesis 和 Firehose 导入流式数据
为 RAG 文档决定分块方式（固定长度、分层、语义）后导入

工作中的示例

为了缩短每次训练从 S3 读取 5 TB 图像的时间，挂载与 S3 关联的 FSx for Lustre，让训练作业从中读取。

易混淆点、考试注意事项

CSV 简单方便，但处理大量数据时列式格式效率更高
SageMaker 训练的输入有文件模式、Pipe 模式和快速文件模式
分块太大检索精度会下降，太小则会丢失上下文

小测验

Q1. 希望把 DynamoDB 生产表的数据用于训练。在不使用生产读取容量的情况下取出数据，最恰当的方法是哪一项？

把生产表的读取容量调到最大，在营业时间集中读出
启用时间点恢复，把表导出到 S3
由负责人从应用界面手工抄写数据，汇总到电子表格中
每次训练都运行扫描生产表、读取全部数据的脚本

查看答案和解析

正确答案：B 启用时间点恢复，把表导出到 S3

DynamoDB 导出到 S3 使用时间点恢复功能，不消耗表的读取容量。

Q2. 希望把 RDS 数据库中的大表以 Parquet 格式取出到 S3 用于分析和训练。减少对生产影响的方法，最恰当的是哪一项？

用 AWS DMS 从生产实例读取全部数据，迁移到 S3
创建只读副本，从副本以 CSV 写出到 S3
把 RDS 快照导出到 S3，以 Parquet 输出
通过 Glue 的 JDBC 连接从生产读取表，转换为 Parquet

查看答案和解析

正确答案：C 把 RDS 快照导出到 S3，以 Parquet 输出

RDS 快照导出不会给生产实例带来负载，并把数据以 Parquet 格式输出到 S3。【其他选项】DMS 和 Glue 的 JDBC 连接从生产实例读取，会增加负载。只读副本对生产影响小，但有额外费用，也不是 Parquet。

参考链接

1.2数据转换、特征工程和预处理

1.2 执行数据转换、特征工程和预处理。

概念

预处理包括缺失值处理（删除、补全）、离群值处理、缩放（标准化、归一化）、类别变量编码（独热、标签、目标）、文本分词和数据划分。使用 SageMaker Data Wrangler（可视化准备）、AWS Glue（ETL）、Glue DataBrew（无代码整理）和 SageMaker Processing，并用 SageMaker Feature Store（在线和离线）共享创建的特征。

原理、步骤

探索数据，确认缺失、离群值和分布
处理缺失值和离群值
缩放数值特征，对类别变量进行编码
创建新特征，如从日期得出星期几
登记到 Feature Store，在训练和推理中使用相同的特征

工作中的示例

为了预测流失，用 Data Wrangler 根据签约日期创建“合同期限（月）”，对套餐进行独热编码，并在实时推理中从 Feature Store 的在线存储中使用。

易混淆点、考试注意事项

对无序类别使用标签编码，模型会学到错误的大小关系
训练和推理的预处理不同会使准确度下降（用 Feature Store 统一）
在预处理中使用测试数据的信息（数据泄漏）会使评估过高

小测验

Q1. 在 SageMaker Feature Store 中，希望每次从网页推理时都能在几毫秒内取出客户的最新特征。应使用的是哪一项？

AWS Artifact
Amazon S3 Glacier
离线存储
在线存储

查看答案和解析

正确答案：D 在线存储

在线存储以低延迟返回最新特征。离线存储在 S3 中保存历史，用于创建训练数据。

Q2. 关于数据泄漏（leakage），错误的说明是哪一项？

评估准确度很高，所以即使有泄漏，生产中的性能也同样高
有泄漏时，评估准确度看起来比实际更高
指预测时无法获得的信息被包含在训练数据的特征中
随机划分时间序列数据容易发生泄漏

查看答案和解析

正确答案：A 评估准确度很高，所以即使有泄漏，生产中的性能也同样高

有泄漏时评估准确度表面上很高，但在生产中无法获得该信息，因此性能会大幅下降。

参考链接

1.3验证数据质量并管理偏差

1.3 验证数据质量并管理偏差。

概念

数据质量用 AWS Glue Data Quality（用规则检查完整性、唯一性和值的范围）和 Data Wrangler 的报告确认。偏差用 SageMaker Clarify 的训练前偏差指标（类别不平衡 CI、标签比例差异 DPL 等）测量。不平衡的数据通过重采样（过采样、欠采样）、SMOTE 等合成以及加权来应对。标注使用 SageMaker Ground Truth。

原理、步骤

定义质量规则（缺失率、值的范围），在管道中检查
用 Clarify 按属性（性别、年龄等）测量数据的偏差
不平衡的类别用重采样或加权应对
通过 Ground Truth 和多名作业者的确认提高标签质量
对个人信息进行匿名化或屏蔽

工作中的示例

在欺诈检测数据中欺诈只占 0.5%，因此用 SMOTE 增加训练数据中的欺诈样本，评估则用保持原始分布的测试数据。

易混淆点、考试注意事项

在不平衡的数据中，即使准确率（accuracy）看起来很高也可能没有用
重采样只用于训练数据（不用于测试数据）
Clarify 可以测量训练前（数据）和训练后（模型）的偏差

小测验

Q1. SageMaker Clarify 的训练前指标“类别不平衡（CI）”表示的内容，最恰当的是哪一项？

训练完成的模型的预测准确度随时间下降的程度
训练作业的运行时间超出计划的程度
比较的群体（例如性别）之间数据条数偏差的程度
数据文件的大小超出存储上限的程度

查看答案和解析

正确答案：C 比较的群体（例如性别）之间数据条数偏差的程度

CI 表示群体之间样本数量的偏差。偏差大时，少数群体的性能容易下降。

Q2. 希望降低数十万张图像的标注费用，同时保持人工作业者的质量。最恰当的方法是哪一项？

不进行标注，从图像文件名推测内容，把推测直接作为正确标签使用
把所有图像交给 1 名作业者，确认工作也由同一人完成
使用 Ground Truth 的自动标注，模型有把握的自动标注，其余由人工标注
把图像减少到 100 张，其余图像完全不用于训练

查看答案和解析

正确答案：C 使用 Ground Truth 的自动标注，模型有把握的自动标注，其余由人工标注

Ground Truth 的自动标注（主动学习）会自动标注置信度高的数据，减少人工作业量和费用。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）

本站题目是根据官方公开的技能大纲和考试指南独立编写的原创练习题，并非真实考试题目。
Amazon Web Services、AWS 及相关标志是 Amazon.com, Inc. 或其关联公司的商标。本站与 AWS 无合作关系，也未获得 AWS 的认可或推荐。
本内容仅为学习辅助，不保证考试合格。考试内容、形式和前提条件可能随时变更，参加考试前请务必在官方页面确认最新信息。
模拟考试的正确率无法换算为官方（换算）分数，也不能预测是否合格。
进度仅保存在本浏览器（localStorage）中；使用 Google 登录后才会同步到账号。可在“Cookie 与存储设置”页面（日语）中删除。