AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

STEP 1 · 学习

MLA-C02 学习机器学习工程师 – 助理级（Machine Learning Engineer – Associate）

按考试领域阅读要点，然后点击各领域末尾的“练习该领域”，只练习该领域的题目。比例越大的领域在正式考试中出题越多。

01

ML 和 AI 的数据准备

Data Preparation for ML and AI

28%

学习目标

  • 能够从 S3、EFS、FSx、RDS、DynamoDB 等数据源，以及 Kinesis、Flink、Kafka 的流式数据中，以符合目的的格式（Parquet、ORC、CSV、JSON）导入数据
  • 能够用 Glue、DataBrew、EMR 上的 Spark、Data Wrangler、Feature Store 进行转换和创建特征，并区分使用缩放、分箱、对数变换和编码
  • 能够通过嵌入、分块和元数据提取准备 RAG 的文档，并选择 OpenSearch、pgvector、S3 Vectors 等向量存储
  • 能够用 Glue Data Quality 和 DataBrew 验证质量，用 Ground Truth 添加标签，并用 Clarify 的偏差指标和重采样应对类别不平衡

要点

  • 格式：分析时只读取部分列，用列式的 Parquet 或 ORC（压缩效果好，读取量少）。按行追加和日志用 JSON 或 CSV。SageMaker AI 的部分内置算法使用 RecordIO-protobuf 的 Pipe 模式读取更快。
  • 存储：训练数据基本放在 S3。需要高速读取大量小文件的训练用 FSx for Lustre（与 S3 联动），多个实例共享用 EFS。从远地大量上传用 S3 Transfer Acceleration。
  • 流式处理：用 Kinesis Data Streams 导入，用 Managed Service for Apache Flink 或 Lambda 转换，用 Data Firehose 投递到 S3 等。已有的 Kafka 资产用 MSK。
  • 转换工具：无需写代码进行可视化和转换用 Data Wrangler 或 DataBrew，大规模 ETL 用 Glue（Spark）或 EMR。创建的特征用 Feature Store（在线和离线）以相同定义同时用于训练和推理。
  • 特征工程：标准化（均值 0、方差 1）和归一化（0～1）、对偏态分布做对数变换、对数值分区间（分箱）、类别的独热编码（无序类别）和标签编码（有序类别）。补全缺失值、处理离群值、去除重复。
  • 生成式 AI 的数据：用嵌入模型把文本和图像转换为向量。RAG 文档的分块（固定长度、分层、语义）和元数据会改变检索精度。微调、持续预训练和蒸馏的训练数据也要统一格式和质量后准备。
  • 个人信息：用于训练或 RAG 之前要进行屏蔽、编辑或匿名化。用 Macie 发现 S3 中的敏感数据，满足 PII、PHI 和数据驻留的要求。
  • 质量与偏差：用 Glue Data Quality 或 DataBrew 的规则验证缺失、范围和唯一性。用 Ground Truth 添加标签（人工与自动标注并用）。用 Clarify 的训练前指标（类别不平衡 CI、标签比例差异 DPL 等）测量偏差，并通过过采样、欠采样、合成数据（如 SMOTE）和分层划分应对。

工作中的应用场景

  • 销售用 Glue 把 CRM 的商谈数据与网站访问日志关联，在 Feature Store 中登记“最近 30 天访问次数”等特征。在成交预测的训练和销售界面的实时推理中使用相同的特征。
  • 总务把公司规章的 PDF 按标题分块，附加部门和修订日期作为元数据保存到向量存储中，使旧版规章不会出现在检索结果中。
  • 财务在费用欺诈检测中，欺诈示例只占全部的 0.5%。用 Clarify 确认类别不平衡，只对训练数据进行过采样，评估则用保持原始比例的测试数据。

考试评估项目（来自考试指南）

  • 1.1 データを収集して保存する。
  • 1.2 データ変換、特徴量エンジニアリング、前処理を実行する。
  • 1.3 データ品質を検証し、バイアスを管理する。

学习资源

详细学习（3 个主题，附小测验）→练习该领域（84 题）→下一个领域 ↓
02

ML 模型和基础模型（FM）的开发

ML Model and Foundation Model (FM) Development

24%

学习目标

  • 能够根据可解释性、性能、延迟和费用，选择适合问题的内置算法（XGBoost、线性学习器、k-means、RCF、DeepAR、BlazingText 等）、AI 服务、Bedrock 的 FM 和 JumpStart
  • 能够通过脚本模式、自动模型调优（AMT）、提前停止、分布式训练、Spot 训练、正则化和集成，使训练更快、更便宜、更好
  • 能够区分使用提示工程、RAG、微调和蒸馏，并优化检索组件（嵌入、重排序）
  • 能够用混淆矩阵、F1、AUC、RMSE 等指标，基于 MLflow 的可复现实验、影子测试、Clarify 和 Debugger，以及 ROUGE、BLEU、BERTScore、LLM-as-a-judge 和人工评估来分析性能

要点

  • 算法：表格数据的分类和回归用 XGBoost（梯度提升）或线性学习器，聚类用 k-means，异常检测用 Random Cut Forest，时间序列预测用 DeepAR，文本分类和词向量用 BlazingText，图像用图像分类和目标检测。需要说明时用线性模型或浅层树，重视性能时用梯度提升或深度学习。
  • 自建还是使用：语音转写、翻译、OCR、图像分析通常用 AI 服务（Transcribe、Translate、Textract、Rekognition、Comprehend）就足够。文本生成和摘要用 Bedrock 的 FM。只有用自有数据才能解决的预测在 SageMaker AI 中训练。
  • 训练的要素：轮数（epoch，遍历全部数据的次数）、步数、批量大小和学习率。学习率过大损失会振荡或发散，过小则收敛缓慢。
  • 脚本模式：把自己的训练脚本交给 TensorFlow、PyTorch、scikit-learn 等 SageMaker AI 容器运行，比自带容器（BYOC）省事。
  • 调优：用 AMT 的随机搜索、贝叶斯优化、Hyperband 等策略最大化目标指标。提前停止可以终止没有希望的试验。缩短训练时间用分布式训练（数据并行、模型并行），降低费用用托管 Spot 训练（保存检查点）。
  • 过拟合的对策：正则化（L1、L2、dropout、权重衰减）、提前停止、增加或扩充数据、减少特征。欠拟合则增加特征或模型的表达能力。对于微调导致失去原有能力的灾难性遗忘，可以降低学习率、混入原始数据或使用 LoRA 等方法应对。通过集成（bagging、boosting、stacking）提高性能。
  • 评估：分类用混淆矩阵、精确率（希望减少误报）、召回率（希望减少漏报）、F1、ROC 曲线和 AUC。回归用 RMSE、MAE。与基线（简单模型或现行方式）比较。影子测试把生产流量也发送给新模型，在不影响用户的情况下进行比较。
  • 生成式 AI 的评估：摘要用 ROUGE，翻译用 BLEU，语义相近度用 BERTScore 或嵌入相似度，质量打分用 LLM-as-a-judge 或人工评估。Bedrock 的评估可以评估模型和 RAG（检索准确性、回答忠实度）。用 MLflow 和提示管理保留实验条件和结果，以便复现。

工作中的应用场景

  • 销售在流失预测中，XGBoost 准确度高，但销售部长要求说明理由。用 Clarify 的 SHAP 按客户展示推高流失概率的因素（如咨询次数增加等）。
  • 总务公司内部 FAQ 机器人检索到的文档排序不佳，误答较多。尝试更换嵌入模型和加入重排序，用 Bedrock 的 RAG 评估比较检索准确性和回答忠实度后再切换。
  • 财务在发票科目的自动分类中，误分类（精确率）比漏报（召回率）造成的返工更多。调整阈值优先保证精确率，置信度低的转给负责人。

考试评估项目（来自考试指南）

  • 2.1 ML と AI のソリューションに適したモデリングアプローチを選択する。
  • 2.2 ML と AI のソリューションのモデルをトレーニング、ファインチューニング、カスタマイズする。
  • 2.3 ML と AI のシステムのパフォーマンスを分析および評価する。

学习资源

详细学习（3 个主题，附小测验）→练习该领域（72 题）→下一个领域 ↓
03

ML 和 AI 工作流的部署与编排

Deployment and Orchestration of ML and AI Workflows

24%

学习目标

  • 能够根据要求选择实时、无服务器、异步和批量转换推理，多模型和多容器终端节点，ECS、EKS 和 Lambda，以及用 Neo 进行边缘优化
  • 能够选择 Bedrock FM 的部署选项（按需、预置吞吐量、Custom Model Import）、RAG 的检索设置（混合搜索、重排序）以及代理的基础（AgentCore）
  • 能够用 CloudFormation 和 CDK 自动创建资源，并配置 ECR 容器、VPC 内的终端节点以及基于指标的自动扩缩
  • 能够用 SageMaker Pipelines、Step Functions、MWAA、EventBridge 以及 CodePipeline、CodeBuild、CodeDeploy 自动化训练、评估、注册、部署、重新训练和回滚

要点

  • 推理方式：始终需要低延迟用实时终端节点；流量稀疏、不想为待机付费用无服务器推理（有冷启动）；大输入或长时间处理用异步推理（输入输出在 S3，等待时可缩减到 0 台）；批量处理用批量转换。
  • 大量模型：相似的模型很多且调用稀疏时，用多模型终端节点（需要时加载模型并共享）。要在一个终端节点上运行预处理和推理等不同容器时，用多容器终端节点（直接调用或串行推理管道）。
  • 边缘：用 SageMaker Neo 针对特定硬件编译模型，使设备上的推理更快、更小。
  • FM 的部署：Bedrock 的按需（按令牌计费）、预置吞吐量（确保一定的处理量）和 Custom Model Import（在 Bedrock 中使用在外部微调的开放模型）。也可以用 SageMaker AI 终端节点或 JumpStart 自行托管在 GPU 实例上。
  • 基础设施即代码：CloudFormation（模板）和 CDK（用编程语言定义）。容器保存在 ECR 中。VPC 内的终端节点要指定子网和安全组，并通过 VPC 终端节点访问 S3 等。
  • 自动扩缩：目标跟踪以 InvocationsPerInstance（每个实例的调用数）等为指标。固定时间的增减用计划扩缩。GPU 工作负载还要查看 GPU 使用率和队列长度。
  • 编排：ML 的步骤（处理→训练→评估→条件分支→模型注册）用 SageMaker Pipelines，跨 AWS 服务的业务流程用 Step Functions，已有的 Airflow 资产用 MWAA。用 EventBridge 按计划或事件（新数据到达）启动。
  • CI/CD：CodePipeline（流程）、CodeBuild（构建和测试）、CodeDeploy（部署）、CodeConnections（与 GitHub 等连接）。只把在 Model Registry 中获批的模型版本发布到生产。SageMaker AI 的部署防护机制提供蓝/绿部署（一次性、金丝雀、线性）以及基于 CloudWatch 告警的自动回滚。提示和代理也要进行版本管理，测试后再发布。

工作中的应用场景

  • 销售在报价界面上用实时终端节点在 100 毫秒内返回折扣率建议。新模型以金丝雀方式从 10% 的流量开始发布，并通过错误率告警自动回滚。
  • 总务每月 1 日用上个月的出入馆日志重新训练异常检测模型。用 EventBridge 的计划启动 SageMaker Pipelines，只有评估指标超过标准时才注册到 Model Registry。
  • 财务月末对 20 万笔交易进行批量评分。不使用常驻的终端节点，而是用批量转换处理 S3 中的输入并把结果输出到 S3。

考试评估项目（来自考试指南）

  • 3.1 ML と AI のモデルタイプのデプロイインフラストラクチャを管理する。
  • 3.2 既存のアーキテクチャと要件に基づいて ML と AI のワークロードのリソースをプロビジョニングして設定する。
  • 3.3 MLOps と AI のワークロードのための、自動オーケストレーション、継続的インテグレーションおよび継続的デリバリー (CI/CD) パイプラインを実装する。

学习资源

详细学习（3 个主题，附小测验）→练习该领域（72 题）→下一个领域 ↓
04

ML 和 AI 解决方案的运维、监控与保护

Operating, Monitoring, and Securing ML and AI Solutions

24%

学习目标

  • 能够用 Model Monitor（数据质量、模型质量、偏差漂移、特征归因漂移）、A/B 测试、CloudWatch 生成式 AI 可观测性和 AgentCore Observability 监控生产中的模型和代理
  • 能够用 CloudWatch、X-Ray、Logs Insights 和仪表板调查延迟和错误，并用 Inference Recommender 和 Compute Optimizer 优化实例规格
  • 能够用 Cost Explorer、Budgets 和标签，Spot 和 Savings Plans，以及优化令牌使用量和向量存储费用来管理 ML 和生成式 AI 的费用
  • 能够用最小权限的 IAM、Role Manager、存储桶策略、VPC 和安全组、加密、CloudTrail 和 Config、Bedrock 的凭证（API 密钥、IAM）以及防护机制保护 ML 和 AI

要点

  • 漂移：输入数据的分布与训练时相比发生变化（数据漂移）时，准确度会下降。Model Monitor 定期把生产数据与根据训练数据建立的基线进行比较，并把违规情况发送到 CloudWatch。如果之后能获得真实标签，模型质量监控还能检测准确度下降。
  • A/B 测试：在一个终端节点上放置多个生产变体，按权重分配流量并比较指标。影子测试则在不向用户返回结果的情况下进行比较。
  • 生成式 AI 的监控：用 CloudWatch 生成式 AI 可观测性跟踪令牌数、延迟和错误，用 AgentCore Observability 跟踪代理的步骤、工具调用和失败。用 Bedrock 模型调用日志记录输入输出。
  • 故障排除：CloudWatch 指标和告警，用 Logs Insights 检索日志，用 X-Ray 查看请求路径和各区段延迟，用 Lambda Insights 查看函数性能。
  • 实例的选择：通用型、计算优化型、内存优化型、GPU、面向推理（Inferentia）和面向训练（Trainium）。用 Inference Recommender 进行负载测试，选择满足延迟和费用要求的实例类型和数量。
  • 费用：用 Cost Explorer 分析，用 Budgets 设置预算和告警，用成本分配标签按项目汇总。训练用托管 Spot，稳定的使用用 SageMaker AI 的 Savings Plans。生成式 AI 通过减少令牌（更短的提示、缓存、更小的模型）、批量推理和减少嵌入的重新计算来控制费用。
  • 容量问题：限流用服务配额应对，突发负载用自动扩缩设置或预置吞吐量应对，Lambda 用预置并发应对。
  • 安全：用 IAM 角色实现最小权限（用 Role Manager 按角色画像创建角色），S3 存储桶策略，用 VPC 子网和安全组隔离，并通过 VPC 终端节点使通信私有化。静态用 KMS，传输中用 TLS。用 CloudTrail 记录操作，用 Config 评估配置。用 Inspector 检查容器镜像的漏洞。Bedrock 有 API 密钥和 IAM 凭证，生产中以临时 IAM 凭证为基本。用防护机制保护敏感信息。

工作中的应用场景

  • 销售新商品发布后，需求预测模型的输入分布发生了变化。用 CloudWatch 告警通知 Model Monitor 的数据质量违规，并启动重新训练管道。
  • 总务公司内部助手的令牌使用量逐月增加。在 CloudWatch 中查看各部门的令牌数，缩短冗长的系统提示，并对重复的前半部分使用提示缓存。
  • 财务在不连接互联网的 VPC 子网中运行使用工资数据的训练作业，通过 VPC 终端节点访问 S3，用 KMS 密钥加密数据和模型。用 CloudTrail 记录谁启动了作业。

考试评估项目（来自考试指南）

  • 4.1 ML と AI のモデルの推論とパフォーマンスをモニタリングする。
  • 4.2 ML と AI のインフラストラクチャのコストとパフォーマンスを最適化および管理する。
  • 4.3 ML と AI のワークロードとモデルエンドポイントのセキュリティを確保する。

学习资源

详细学习（3 个主题，附小测验）→练习该领域（73 题）→挑战模拟考试 →

读完之后

练习全部领域（301 题）模拟考试（65 题 · 130 分钟）MLA-C02 首页
使用须知（非官方、原创题目、不保证合格）