PMLE · LESSON 5
セクション5:ML パイプラインの自動化とオーケストレーション約18% · 2項目
エンドツーエンドの ML パイプラインと、再学習の自動化を学びます。
5.1エンドツーエンドのパイプライン
エンドツーエンドのパイプライン(データとモデルの検証、Agent Platform Pipelines・Managed Service for Apache Airflow・Ray、学習と配信の前処理の一貫性)
概念
ML パイプラインは、データの取り込み → 検証 → 前処理 → 学習 → 評価 → モデルの検証 → 登録 → デプロイを自動化します。Agent Platform Pipelines(Kubeflow Pipelines・TFX の形式)、Managed Service for Apache Airflow(旧 Cloud Composer)による広いワークフローのオーケストレーション、Ray による分散処理を使い分けます。学習と配信で同じ前処理を使い、学習と配信のスキューを防ぎます。
仕組み・手順
- 各段階をコンポーネントにして再利用できるようにする
- データの検証(スキーマ・分布)とモデルの検証(基準の指標)をゲートにする
- ML 以外の処理も含むワークフローは Airflow で管理する
- 前処理のコードを学習と配信で共有する
業務での例
Pipelines で、データの分布の検証に失敗したら学習を止め、評価の AUC が現行のモデルを上回った場合だけ登録する。
紛らわしい点・試験の注意
- パイプラインは ML のワークフロー、Airflow は組織の広いワークフローの管理に向く
- データの検証を省くと、壊れたデータで学習してしまう
- 学習と配信で前処理が違うとスキューが起きる
ミニクイズ
Q1. ML の手順を Agent Platform Pipelines で動かすことを検討している。GKE 上の Kubeflow Pipelines と比べた利点として最も適切なものはどれか。
- Kubernetes のノードの設定を、細かく制御できる
- パイプラインの定義に、Kubeflow の SDK が要らない
- オンプレミスのクラスタでも、同じ設定のまま動かせる
- サーバーレスで実行でき、成果物と系統を自動で記録できる
答えと解説を見る
正解:D サーバーレスで実行でき、成果物と系統を自動で記録できる
ML Metadata と統合され、再現性が高い。 【他の選択肢】ノードの細かい制御は自分で運用する GKE の利点。Agent Platform Pipelines も Kubeflow Pipelines の SDK などで定義する。オンプレミスでの実行は GKE などの自前の運用で行う。
Q2. 学習のパイプラインを設計している。処理を小さなコンポーネントに分ける利点として最も適切なものはどれか。
- コンポーネントの数が多いほど、学習の精度が上がる
- コンポーネントを分けると、パイプラインの実行の費用が下がる
- 再利用・テスト・キャッシュがしやすく、失敗した箇所から再実行できる
- コンポーネントの間でデータを渡さずに済み、ストレージが要らない
答えと解説を見る
正解:C 再利用・テスト・キャッシュがしやすく、失敗した箇所から再実行できる
キャッシュで変更のない手順を省略できる。 【他の選択肢】分けても精度は変わらない。コンポーネントの間では成果物を渡すため保存は必要。費用はキャッシュで下がることはあるが、分けるだけでは下がらない。
参考リンク
5.2再学習の自動化
再学習の自動化(再学習のポリシー、CI/CD/CT、Cloud Build)
概念
再学習のポリシーは、スケジュール(定期)、データの到着、性能の低下やドリフトの検知などの条件で決めます。CI(コードのテスト)・CD(デプロイ)・CT(継続的な学習)を組み合わせ、Cloud Build でコードの変更からパイプラインの構築・実行を自動化します。
仕組み・手順
- 再学習の条件(定期・データ・ドリフト)を決める
- Cloud Build でコードの変更時にテストとパイプラインの更新を行う
- Model Monitoring のアラートなどから再学習のパイプラインを起動する
- 新しいモデルは評価のゲートを通してからデプロイする
業務での例
モデルの監視でドリフトのアラートが出ると、Pub/Sub 経由で再学習のパイプラインが起動し、評価に合格した場合だけ新しい版をカナリアでデプロイする。
紛らわしい点・試験の注意
- 再学習を頻繁にしすぎるとコストが増え、少なすぎると精度が落ちる
- CT はモデルの継続的な学習、CD はデプロイの自動化
- 自動の再学習にも評価のゲートが必要
ミニクイズ
Q1. Cloud Build を ML の CI/CD で使う役割として最も適切なものはどれか。
- 学習のデータのラベルを、自動で付け直す
- テスト・ビルド・デプロイを自動で行う
- 本番のモデルのドリフトを、自動で監視する
- モデルのハイパーパラメータを、自動で探索する
答えと解説を見る
正解:B テスト・ビルド・デプロイを自動で行う
Git のトリガーでビルドを起動する。
Q2. CT(継続的トレーニング)の前提として最も適切なものはどれか。
- 新しいデータは、手作業でコピーして学習に渡す
- 学習の手順がノートブックの手作業で、毎回異なる
- モデルの評価の基準が決まっていない
- 取り込みから登録までが自動化されている
答えと解説を見る
正解:D 取り込みから登録までが自動化されている
MLOps の成熟度のレベル。
参考リンク
レッスンは当サイトがGoogle Cloud 認定の公開ページと試験ガイドをもとに独自に作成したもので、試験の内容を保証するものではありません。製品の仕様は変わることがあるため、参考リンク先の最新情報を確認してください。
ご利用上の注意(非公式・独自問題・合格保証なし)
- 本サイトの問題は、公開されているスキル概要・試験ガイドをもとに当サイトが独自に作成した練習問題であり、実際の試験問題ではありません。
- Google Cloud、Gemini、Vertex AI、Google Workspace は Google LLC の商標です。本サイトは Google と提携しておらず、Google による承認・推奨を受けたものではありません。
- 本コンテンツは学習の補助であり、合格を保証するものではありません。試験の内容・形式・前提条件は予告なく変更されます。受験前に必ず試験ページで最新情報を確認してください。
- 本模擬試験の正答率は、本試験の換算(スケール)スコアとは換算できず、合否を予測するものではありません。
- 未ログイン時の進捗はこのブラウザ内(localStorage)に保存します。Google でログインすると学習記録をアカウントに同期します。端末内の記録とサーバー上の記録は別に削除します。詳しくは保存・同期の説明とCookie・保存設定をご確認ください。