STEP 1 · 学習

MLA-C02 学習機械学習エンジニア – アソシエイト

公式の出題分野ごとに要点を読み、各分野の最後にある「この分野を練習する」でその分野だけの問題を解きます。分野の比率が大きいほど本試験での出題が多くなります。

01

ML と AI のためのデータの準備

Data Preparation for ML and AI

28%

学習目標

  • S3・EFS・FSx・RDS・DynamoDB などのデータソースと、Kinesis・Flink・Kafka のストリーミングから、目的に合う形式(Parquet・ORC・CSV・JSON)でデータを取り込める
  • Glue・DataBrew・EMR の Spark・Data Wrangler・Feature Store で変換と特徴量を作り、スケーリング・ビニング・対数変換・エンコーディングを使い分けられる
  • 埋め込み・チャンキング・メタデータの抽出で RAG の文書を準備し、OpenSearch・pgvector・S3 Vectors などのベクトルストアを選べる
  • Glue Data Quality・DataBrew で品質を検証し、Ground Truth でラベルを付け、Clarify のバイアスの指標とリサンプリングでクラスの不均衡に対処できる

要点

  • 形式:分析で一部の列だけを読むなら列指向の Parquet・ORC(圧縮が効き、読み取る量が減る)。行単位の追記やログは JSON・CSV。SageMaker AI の一部の組み込みアルゴリズムは RecordIO-protobuf のパイプモードで速く読める。
  • ストレージ:学習データの置き場は基本 S3。大量の小さなファイルを高速に読む学習には FSx for Lustre(S3 と連携)、複数のインスタンスでの共有には EFS。遠隔地からの大量のアップロードは S3 Transfer Acceleration。
  • ストリーミング:Kinesis Data Streams で取り込み、Managed Service for Apache Flink や Lambda で変換、Data Firehose で S3 などへ配送。Kafka の既存の資産は MSK。
  • 変換のツール:コードを書かずに可視化と変換なら Data Wrangler や DataBrew、大規模な ETL は Glue(Spark)や EMR。作った特徴量は Feature Store(オンラインとオフライン)で学習と推論の両方に同じ定義で使う。
  • 特徴量エンジニアリング:標準化(平均 0・分散 1)と正規化(0〜1)、偏った分布の対数変換、数値の区間分け(ビニング)、カテゴリのワンホットエンコーディング(順序のないカテゴリ)とラベルエンコーディング(順序のあるカテゴリ)。欠損値の補完・外れ値の処理・重複の除去。
  • 生成 AI のデータ:埋め込みモデルで文章や画像をベクトルに変換。RAG の文書はチャンキング(固定長・階層・意味の区切り)とメタデータの付与で検索の精度が変わる。ファインチューニングや継続的な事前学習・蒸留の学習データも、形式と品質をそろえて準備する。
  • 個人情報:学習やRAGに使う前にマスキング・編集・匿名化する。Macie で S3 の機密データを見つけ、PII・PHI・データの所在の要件に合わせる。
  • 品質とバイアス:Glue Data Quality や DataBrew のルールで欠損・範囲・一意性を検証。Ground Truth でラベル付け(人と自動ラベルの併用)。Clarify の学習前の指標(クラスの不均衡 CI、ラベルの比率の差 DPL など)で偏りを測り、オーバーサンプリング・アンダーサンプリング・合成データ(SMOTE など)・層化した分割で対処する。

業務での使いどころ

  • 営業CRM の商談データと Web のアクセスログを Glue で結合し、Feature Store に「直近 30 日の訪問回数」などの特徴量を登録。受注予測の学習と、営業画面のリアルタイムの推論で同じ特徴量を使う。
  • 総務社内規程の PDF を見出しごとにチャンキングし、部署や改定日をメタデータとして付けてベクトルストアに保存。古い版の規程が検索に出ないようにする。
  • 経理不正な経費の検知で、不正の例が全体の 0.5% しかない。Clarify でクラスの不均衡を確認し、学習データだけをオーバーサンプリングして、評価は元の比率のテストデータで行う。

公式のタスクステートメント(英語)

  • 1.1 データを収集して保存する。
  • 1.2 データ変換、特徴量エンジニアリング、前処理を実行する。
  • 1.3 データ品質を検証し、バイアスを管理する。

公式の学習リソース

02

ML モデルと基盤モデル (FM) の開発

ML Model and Foundation Model (FM) Development

24%

学習目標

  • 課題に合う組み込みアルゴリズム(XGBoost・線形学習・k-means・RCF・DeepAR・BlazingText など)、AI サービス、Bedrock の FM、JumpStart を、解釈のしやすさ・性能・遅延・費用で選べる
  • スクリプトモード、自動モデルチューニング(AMT)、早期停止・分散学習・スポット学習、正則化とアンサンブルで、学習を速く安く良くできる
  • プロンプトの工夫・RAG・ファインチューニング・蒸留を使い分け、検索の部品(埋め込み・リランク)を最適化できる
  • 混同行列・F1・AUC・RMSE などの指標、MLflow による再現可能な実験、シャドウテスト、Clarify・Debugger、ROUGE・BLEU・BERTScore・LLM-as-a-judge・人による評価で性能を分析できる

要点

  • アルゴリズム:表形式の分類・回帰は XGBoost(勾配ブースティング)や線形学習、クラスタリングは k-means、異常検知は Random Cut Forest、時系列の予測は DeepAR、テキストの分類や単語のベクトルは BlazingText、画像は画像分類・物体検出。説明が必要なら線形モデルや浅い木、性能重視なら勾配ブースティングやディープラーニング。
  • 作るか使うか:文字起こし・翻訳・OCR・画像の分析は AI サービス(Transcribe・Translate・Textract・Rekognition・Comprehend)で足りることが多い。文章の生成や要約は Bedrock の FM。独自のデータでしか解けない予測は SageMaker AI で学習。
  • 学習の要素:エポック(データ全体を何周するか)、ステップ、バッチサイズ、学習率。学習率が大きすぎると損失が振動・発散し、小さすぎると収束が遅い。
  • スクリプトモード:TensorFlow・PyTorch・scikit-learn などの SageMaker AI のコンテナに自分の学習スクリプトを渡して実行する。独自のコンテナ(BYOC)より手間が少ない。
  • チューニング:AMT でランダム検索・ベイズ最適化・Hyperband などの戦略を使い、目的の指標を最大化する。早期停止で見込みのない試行を止める。学習時間の短縮には分散学習(データ並列・モデル並列)、費用の削減にはマネージドスポットトレーニング(チェックポイントを保存)。
  • 過学習の対策:正則化(L1・L2・ドロップアウト・重み減衰)、早期停止、データの追加・拡張、特徴量の削減。未学習なら特徴量やモデルの表現力を増やす。ファインチューニングで元の能力を失う壊滅的忘却には、学習率を下げる・元のデータを混ぜる・LoRA などの手法で対処する。アンサンブル(バギング・ブースティング・スタッキング)で性能を上げる。
  • 評価:分類は混同行列・適合率(誤検知を減らしたい)・再現率(見逃しを減らしたい)・F1・ROC 曲線と AUC。回帰は RMSE・MAE。ベースライン(単純なモデルや現行の方式)と比べる。シャドウテストで本番のトラフィックを新しいモデルにも流し、利用者に影響を与えずに比べる。
  • 生成 AI の評価:要約は ROUGE、翻訳は BLEU、意味の近さは BERTScore や埋め込みの類似度、品質の採点は LLM-as-a-judge や人による評価。Bedrock の評価で、モデルや RAG(検索の正確さ・回答の忠実さ)を評価できる。MLflow やプロンプト管理で、実験の条件と結果を再現できるように残す。

業務での使いどころ

  • 営業解約の予測で、XGBoost の精度が高いが営業の部長が理由の説明を求めた。Clarify の SHAP で、顧客ごとに解約の確率を押し上げた要因(問い合わせ件数の増加など)を示す。
  • 総務社内の FAQ ボットで、検索した文書の順位が悪く誤答が多い。埋め込みモデルの変更とリランクを試し、Bedrock の RAG の評価で検索の正確さと回答の忠実さを比べてから切り替える。
  • 経理請求書の科目の自動分類で、見逃し(再現率)より誤分類(適合率)のほうが手戻りが大きい。しきい値を調整して適合率を優先し、確信度の低いものは担当者に回す。

公式のタスクステートメント(英語)

  • 2.1 ML と AI のソリューションに適したモデリングアプローチを選択する。
  • 2.2 ML と AI のソリューションのモデルをトレーニング、ファインチューニング、カスタマイズする。
  • 2.3 ML と AI のシステムのパフォーマンスを分析および評価する。

公式の学習リソース

03

ML と AI のワークフローのデプロイとオーケストレーション

Deployment and Orchestration of ML and AI Workflows

24%

学習目標

  • リアルタイム・サーバーレス・非同期・バッチ変換の推論、マルチモデル・マルチコンテナのエンドポイント、ECS・EKS・Lambda、Neo によるエッジへの最適化を要件で選べる
  • Bedrock の FM のデプロイの選択肢(オンデマンド・プロビジョンドスループット・Custom Model Import)と、RAG の検索の設定(ハイブリッド検索・リランク)、エージェントの基盤(AgentCore)を選べる
  • CloudFormation・CDK でリソースを自動で作り、ECR のコンテナ、VPC 内のエンドポイント、指標に基づく自動スケーリングを設定できる
  • SageMaker Pipelines・Step Functions・MWAA・EventBridge と CodePipeline・CodeBuild・CodeDeploy で、学習・評価・登録・デプロイ・再学習・ロールバックを自動化できる

要点

  • 推論の方式:常に低遅延ならリアルタイムエンドポイント、まばらで待機の費用を払いたくないならサーバーレス推論(コールドスタートあり)、大きな入力や長い処理なら非同期推論(S3 に入出力、待機中は 0 台にもできる)、まとめて処理するならバッチ変換。
  • 多数のモデル:似たモデルが多数で呼び出しがまばらなら、マルチモデルエンドポイント(必要なときにモデルを読み込んで共有)。前処理と推論など異なるコンテナを 1 つのエンドポイントで動かすならマルチコンテナエンドポイント(直接呼び出しやシリアル推論パイプライン)。
  • エッジ:SageMaker Neo で特定のハードウェア向けにモデルをコンパイルし、デバイス上の推論を速く小さくする。
  • FM のデプロイ:Bedrock のオンデマンド(トークン課金)、プロビジョンドスループット(一定の処理量を確保)、Custom Model Import(外部でファインチューニングしたオープンなモデルを Bedrock で使う)。SageMaker AI のエンドポイントや JumpStart で自分で GPU のインスタンスにホストする方法もある。
  • インフラのコード化:CloudFormation(テンプレート)と CDK(プログラミング言語で定義)。コンテナは ECR に保存。VPC 内のエンドポイントは、サブネット・セキュリティグループを指定し、S3 などへは VPC エンドポイントでアクセスする。
  • 自動スケーリング:ターゲット追跡で InvocationsPerInstance(インスタンスあたりの呼び出し数)などを指標にする。決まった時間の増減はスケジュールに基づくスケーリング。GPU のワークロードは GPU の使用率や待ち行列の長さも見る。
  • オーケストレーション:ML の手順(処理→学習→評価→条件分岐→モデルの登録)は SageMaker Pipelines、AWS のサービスをまたぐ業務の流れは Step Functions、既存の Airflow の資産は MWAA。EventBridge で定期実行やイベント(新しいデータの到着)から起動する。
  • CI/CD:CodePipeline(流れ)・CodeBuild(ビルドとテスト)・CodeDeploy(デプロイ)・CodeConnections(GitHub などとの接続)。Model Registry で承認されたモデルのバージョンだけを本番に出す。SageMaker AI のデプロイガードレールで、ブルー/グリーン(一括・カナリア・線形)と CloudWatch アラームによる自動ロールバック。プロンプトやエージェントもバージョンを管理し、テストしてから出す。

業務での使いどころ

  • 営業見積もり画面で値引き率を提案するモデルを、リアルタイムエンドポイントで 100 ms 以内に返す。新しいモデルはカナリアで 10% のトラフィックから出し、エラー率のアラームで自動ロールバックする。
  • 総務毎月 1 日に、前月の入退館ログで異常の検知のモデルを再学習する。EventBridge のスケジュールで SageMaker Pipelines を起動し、評価の指標が基準を超えたときだけ Model Registry に登録する。
  • 経理月末に 20 万件の取引をまとめてスコアリングする。常時起動のエンドポイントは使わず、バッチ変換で S3 の入力を処理して結果を S3 に出力する。

公式のタスクステートメント(英語)

  • 3.1 ML と AI のモデルタイプのデプロイインフラストラクチャを管理する。
  • 3.2 既存のアーキテクチャと要件に基づいて ML と AI のワークロードのリソースをプロビジョニングして設定する。
  • 3.3 MLOps と AI のワークロードのための、自動オーケストレーション、継続的インテグレーションおよび継続的デリバリー (CI/CD) パイプラインを実装する。

公式の学習リソース

04

ML と AI のソリューションの運用、モニタリング、保護

Operating, Monitoring, and Securing ML and AI Solutions

24%

学習目標

  • Model Monitor(データ品質・モデル品質・バイアスのドリフト・特徴量の寄与のドリフト)、A/B テスト、CloudWatch の生成 AI オブザーバビリティ、AgentCore Observability で本番のモデルとエージェントを監視できる
  • CloudWatch・X-Ray・Logs Insights・ダッシュボードで遅延とエラーを調べ、Inference Recommender・Compute Optimizer でインスタンスを適正化できる
  • Cost Explorer・Budgets・タグ、スポット・Savings Plans、トークンの使用量やベクトルストアの費用の最適化で、ML と生成 AI の費用を管理できる
  • 最小権限の IAM、Role Manager、バケットポリシー、VPC・セキュリティグループ、暗号化、CloudTrail・Config、Bedrock の認証情報(API キー・IAM)、ガードレールで ML と AI を保護できる

要点

  • ドリフト:入力のデータの分布が学習時から変わる(データのドリフト)と、精度が下がる。Model Monitor は、学習データから作ったベースラインと本番のデータを定期的に比べ、違反を CloudWatch に出す。正解のラベルが後から得られるなら、モデル品質の監視で精度の低下も検知できる。
  • A/B テスト:1 つのエンドポイントに複数の本番稼働用バリアントを置き、重みでトラフィックを分けて指標を比べる。シャドウテストは利用者に返さずに比べる。
  • 生成 AI の監視:CloudWatch の生成 AI オブザーバビリティでトークン数・遅延・エラー、AgentCore Observability でエージェントの手順・ツールの呼び出し・失敗を追跡する。Bedrock のモデル呼び出しのログで入出力を記録する。
  • トラブルシューティング:CloudWatch のメトリクスとアラーム、Logs Insights でログを検索、X-Ray でリクエストの経路と区間ごとの遅延、Lambda Insights で関数の性能。
  • インスタンスの選び方:汎用・コンピューティング最適化・メモリ最適化・GPU・推論向け(Inferentia)・学習向け(Trainium)。Inference Recommender で負荷テストをして、遅延と費用の要件に合うインスタンスと台数を選ぶ。
  • 費用:Cost Explorer で分析、Budgets で予算とアラート、コスト配分タグでプロジェクト別に集計。学習はマネージドスポット、安定した利用は SageMaker AI の Savings Plans。生成 AI はトークンの削減(短いプロンプト・キャッシュ・小さいモデル)、バッチ推論、埋め込みの再計算の削減で抑える。
  • 容量の問題:スロットリングはサービスクォータ、急な負荷には自動スケーリングの設定やプロビジョンドスループット、Lambda はプロビジョンド同時実行で対処する。
  • セキュリティ:IAM のロールで最小権限(Role Manager でペルソナ別のロールを作成)、S3 のバケットポリシー、VPC のサブネットとセキュリティグループで分離し、VPC エンドポイントで通信をプライベートに。保管時は KMS、転送時は TLS。CloudTrail で操作を記録し、Config で設定を評価。Inspector でコンテナのイメージの脆弱性を調べる。Bedrock には API キーと IAM の認証情報があり、本番では一時的な IAM の認証情報が基本。ガードレールで機密情報を守る。

業務での使いどころ

  • 営業需要予測のモデルで、新商品の発売後に入力の分布が変わった。Model Monitor のデータ品質の違反を CloudWatch アラームで通知し、再学習のパイプラインを起動する。
  • 総務社内アシスタントのトークンの使用量が月ごとに増えている。CloudWatch で部署別のトークン数を見て、長いシステムプロンプトを短くし、繰り返す前半はプロンプトキャッシュを使う。
  • 経理給与のデータを使う学習ジョブを、インターネットに出ない VPC のサブネットで動かし、S3 は VPC エンドポイント経由、データとモデルは KMS のキーで暗号化。CloudTrail で誰がジョブを起動したかを記録する。

公式のタスクステートメント(英語)

  • 4.1 ML と AI のモデルの推論とパフォーマンスをモニタリングする。
  • 4.2 ML と AI のインフラストラクチャのコストとパフォーマンスを最適化および管理する。
  • 4.3 ML と AI のワークロードとモデルエンドポイントのセキュリティを確保する。

公式の学習リソース

読み終えたら

ご利用上の注意(非公式・独自問題・合格保証なし)