PMLE · LESSON 2
セクション2:チームでのデータとモデルの管理約16% · 3項目
データの探索と前処理、ノートブックでのプロトタイピング、実験の追跡を学びます。
2.1データの探索と前処理
データの探索と前処理(表・テキスト・画像、BigQuery・Dataflow・Spark・メモリ内の Python の使い分け、Feature Store、PII の保護)
概念
データの規模と種類で処理の基盤を選びます。大規模な表のデータの SQL の処理は BigQuery、大規模なバッチ・ストリーミングの変換は Dataflow(Apache Beam)、Spark の資産があれば Dataproc、小さなデータはメモリの中の Python(pandas)で十分です。特徴量は Feature Store で一元管理し、オンラインの推論とオフラインの学習で共有します。PII は Sensitive Data Protection(旧 DLP API)で検出・マスキングします。
仕組み・手順
- データの量と処理の種類(SQL・ストリーミング・Spark)から基盤を選ぶ
- 学習と推論で共通の特徴量を Feature Store に登録する
- PII を検出し、マスキングや仮名化を行う
- 欠損値・外れ値・不均衡を確認し前処理する
業務での例
クリックのストリームを Dataflow でリアルタイムに集計して Feature Store に書き込み、推薦のモデルが推論の時に最新の特徴量を参照する。
紛らわしい点・試験の注意
- 小さなデータに分散処理の基盤を使うのは過剰
- Dataflow はバッチとストリーミングの両方を扱える
- PII を含むデータは学習の前に保護する
ミニクイズ
Q1. Feature Store を使う利点として最も適切なものはどれか。
- 特徴量を再利用し、学習と配信で同じ値を使える
- モデルの学習の損失関数を、自動的に最適なものに書き換える
- 学習のデータの PII を、自動的にすべて削除して匿名化する
- ノートブックのコードを、自動的に本番のパイプラインに変換する
答えと解説を見る
正解:A 特徴量を再利用し、学習と配信で同じ値を使える
BigQuery をオフラインの保存先にし、オンライン配信で低レイテンシに取得する。
Q2. 表形式・テキスト・画像のデータを学習用に整理する方法として最も適切なものはどれか。
- すべてのデータを、ノートブックのローカルのディスクにだけ保存する
- テキストは印刷して保管し、学習の時に手作業で入力し直す
- 表は BigQuery、画像や大きなファイルは Cloud Storage に置く
- 画像は BigQuery の文字列の列に Base64 ですべて埋め込んで保存する
答えと解説を見る
正解:C 表は BigQuery、画像や大きなファイルは Cloud Storage に置く
形式に合う保存先を選ぶ。画像のパスと付随の情報を BigQuery で管理することもある。
参考リンク
2.2ノートブックでのプロトタイピング
ノートブックでのプロトタイピング(Agent Platform Workbench、Colab Enterprise、セキュリティと共同作業、PyTorch・scikit-learn・JAX、Model Garden のモデル)
概念
Agent Platform Workbench はマネージドの Jupyter の環境で、Colab Enterprise は共同作業しやすいマネージドのノートブックです。どちらも IAM・VPC Service Controls・顧客管理の暗号鍵などでセキュリティを確保でき、PyTorch・TensorFlow・scikit-learn・JAX などのフレームワークや、Model Garden のモデルを使って試作できます。
仕組み・手順
- チームの作業の形に合わせて Workbench か Colab Enterprise を選ぶ
- サービスアカウントと IAM で、ノートブックがアクセスできるデータを限定する
- アイドル時の自動シャットダウンでコストを抑える
- 試作のコードを後でパイプラインに移せるよう整理する
業務での例
データサイエンティストが Colab Enterprise で BigQuery のデータを読み、scikit-learn でモデルを試作して、チームでノートブックを共有する。
紛らわしい点・試験の注意
- ノートブックは試作向けで、本番の再現可能な処理はパイプラインにする
- ノートブックに認証情報を書き込まない
- GPU を使う場合はインスタンスの停止を忘れない
ミニクイズ
Q1. ノートブックの環境のセキュリティのベストプラクティスとして最も適切なものはどれか。
- パブリックの IP を付け、誰でもアクセスできるようにして共同作業する
- 最小権限のサービスアカウントを使い、VPC Service Controls や CMEK で保護する
- サービスアカウントの鍵のファイルをノートブックに貼り付けて共有する
- 全員が同じ管理者の権限のアカウントを共有してノートブックを使う
答えと解説を見る
正解:B 最小権限のサービスアカウントを使い、VPC Service Controls や CMEK で保護する
鍵のファイルの共有は避け、ユーザーや最小権限のサービスアカウントで認証する。
Q2. Workbench で PyTorch のモデルを開発するときの方法として最も適切なものはどれか。
- PyTorch は使えないので、必ず BigQuery ML の SQL に書き直す
- ノートブックでは学習できないので、紙の上で計算してから入力する
- PyTorch のモデルは、必ず AutoML の画面から作らなければならない
- PyTorch 入りのイメージを使い、必要なら GPU を割り当てる
答えと解説を見る
正解:D PyTorch 入りのイメージを使い、必要なら GPU を割り当てる
Workbench や Colab Enterprise は PyTorch・scikit-learn・JAX などに対応する。
参考リンク
2.3実験の追跡
実験の追跡(Experiments、Pipelines、Kubeflow Pipelines、予測と生成 AI の評価・LLM-as-a-judge、ML Metadata による系統の追跡)
概念
Agent Platform Experiments は、実験の実行ごとのパラメータ・指標・成果物を記録して比べられます。Pipelines(Kubeflow Pipelines の形式)の実行と組み合わせ、ML Metadata でデータ・モデル・実行の系統(リネージ)を追跡します。生成 AI の評価では、評価のサービスと LLM を審査員にする評価(LLM-as-a-judge)で品質を測ります。
仕組み・手順
- 実験ごとにパラメータと指標を記録する
- 良い結果の実験を再現できるよう、データとコードの版も記録する
- ML Metadata で、どのデータからどのモデルが作られたかを追跡する
- 生成 AI は評価データセットと LLM-as-a-judge で比べる
業務での例
学習率と木の深さを変えた 20 回の実行を Experiments で比べ、最良の実行のモデルの系統を ML Metadata で確認して登録する。
紛らわしい点・試験の注意
- 記録しない実験は再現と比較ができない
- 系統の追跡は監査や問題の原因の調査に役立つ
- LLM-as-a-judge の評価も人の評価で妥当性を確かめる
ミニクイズ
Q1. LLM-as-a-judge を使う際の注意点として最も適切なものはどれか。
- 評価者の LLM の偏りがありうるため、人の評価と照らして較正する
- 評価者の LLM は常に人より正確なので、人の評価は一切不要である
- 評価する LLM と評価される LLM は、必ず同じモデルにする
- 評価の基準は示さず、評価者の LLM に自由に採点させるのがよい
答えと解説を見る
正解:A 評価者の LLM の偏りがありうるため、人の評価と照らして較正する
基準(ルーブリック)を明確にし、人の評価との一致を確認する。
Q2. 実験の環境として Agent Platform Pipelines を使う場面として最も適切なものはどれか。
- モデルの出力を、人の担当者が 1 件ずつ採点したい
- 1 行のコードを試すため、すぐに対話的に実行したい
- 前処理から評価までを再現可能に実行したい
- 共同でノートブックにコメントを書き込みたい
答えと解説を見る
正解:C 前処理から評価までを再現可能に実行したい
パイプラインは再現性と自動化。対話的な試行はノートブック。
参考リンク
レッスンは当サイトがGoogle Cloud 認定の公開ページと試験ガイドをもとに独自に作成したもので、試験の内容を保証するものではありません。製品の仕様は変わることがあるため、参考リンク先の最新情報を確認してください。
ご利用上の注意(非公式・独自問題・合格保証なし)
- 本サイトの問題は、公開されているスキル概要・試験ガイドをもとに当サイトが独自に作成した練習問題であり、実際の試験問題ではありません。
- Google Cloud、Gemini、Vertex AI、Google Workspace は Google LLC の商標です。本サイトは Google と提携しておらず、Google による承認・推奨を受けたものではありません。
- 本コンテンツは学習の補助であり、合格を保証するものではありません。試験の内容・形式・前提条件は予告なく変更されます。受験前に必ず試験ページで最新情報を確認してください。
- 本模擬試験の正答率は、本試験の換算(スケール)スコアとは換算できず、合否を予測するものではありません。
- 未ログイン時の進捗はこのブラウザ内(localStorage)に保存します。Google でログインすると学習記録をアカウントに同期します。端末内の記録とサーバー上の記録は別に削除します。詳しくは保存・同期の説明とCookie・保存設定をご確認ください。