PMLE · LESSON 2

セクション2:チームでのデータとモデルの管理約16% · 3項目

データの探索と前処理、ノートブックでのプロトタイピング、実験の追跡を学びます。

2.1データの探索と前処理

データの探索と前処理(表・テキスト・画像、BigQuery・Dataflow・Spark・メモリ内の Python の使い分け、Feature Store、PII の保護)

概念

データの規模と種類で処理の基盤を選びます。大規模な表のデータの SQL の処理は BigQuery、大規模なバッチ・ストリーミングの変換は Dataflow(Apache Beam)、Spark の資産があれば Dataproc、小さなデータはメモリの中の Python(pandas)で十分です。特徴量は Feature Store で一元管理し、オンラインの推論とオフラインの学習で共有します。PII は Sensitive Data Protection(旧 DLP API)で検出・マスキングします。

仕組み・手順

  1. データの量と処理の種類(SQL・ストリーミング・Spark)から基盤を選ぶ
  2. 学習と推論で共通の特徴量を Feature Store に登録する
  3. PII を検出し、マスキングや仮名化を行う
  4. 欠損値・外れ値・不均衡を確認し前処理する

業務での例

クリックのストリームを Dataflow でリアルタイムに集計して Feature Store に書き込み、推薦のモデルが推論の時に最新の特徴量を参照する。

紛らわしい点・試験の注意

ミニクイズ

Q1. Feature Store を使う利点として最も適切なものはどれか。

  1. 特徴量を再利用し、学習と配信で同じ値を使える
  2. モデルの学習の損失関数を、自動的に最適なものに書き換える
  3. 学習のデータの PII を、自動的にすべて削除して匿名化する
  4. ノートブックのコードを、自動的に本番のパイプラインに変換する
答えと解説を見る

正解:A 特徴量を再利用し、学習と配信で同じ値を使える

BigQuery をオフラインの保存先にし、オンライン配信で低レイテンシに取得する。

Q2. 表形式・テキスト・画像のデータを学習用に整理する方法として最も適切なものはどれか。

  1. すべてのデータを、ノートブックのローカルのディスクにだけ保存する
  2. テキストは印刷して保管し、学習の時に手作業で入力し直す
  3. 表は BigQuery、画像や大きなファイルは Cloud Storage に置く
  4. 画像は BigQuery の文字列の列に Base64 ですべて埋め込んで保存する
答えと解説を見る

正解:C 表は BigQuery、画像や大きなファイルは Cloud Storage に置く

形式に合う保存先を選ぶ。画像のパスと付随の情報を BigQuery で管理することもある。

参考リンク

2.2ノートブックでのプロトタイピング

ノートブックでのプロトタイピング(Agent Platform Workbench、Colab Enterprise、セキュリティと共同作業、PyTorch・scikit-learn・JAX、Model Garden のモデル)

概念

Agent Platform Workbench はマネージドの Jupyter の環境で、Colab Enterprise は共同作業しやすいマネージドのノートブックです。どちらも IAM・VPC Service Controls・顧客管理の暗号鍵などでセキュリティを確保でき、PyTorch・TensorFlow・scikit-learn・JAX などのフレームワークや、Model Garden のモデルを使って試作できます。

仕組み・手順

  1. チームの作業の形に合わせて Workbench か Colab Enterprise を選ぶ
  2. サービスアカウントと IAM で、ノートブックがアクセスできるデータを限定する
  3. アイドル時の自動シャットダウンでコストを抑える
  4. 試作のコードを後でパイプラインに移せるよう整理する

業務での例

データサイエンティストが Colab Enterprise で BigQuery のデータを読み、scikit-learn でモデルを試作して、チームでノートブックを共有する。

紛らわしい点・試験の注意

ミニクイズ

Q1. ノートブックの環境のセキュリティのベストプラクティスとして最も適切なものはどれか。

  1. パブリックの IP を付け、誰でもアクセスできるようにして共同作業する
  2. 最小権限のサービスアカウントを使い、VPC Service Controls や CMEK で保護する
  3. サービスアカウントの鍵のファイルをノートブックに貼り付けて共有する
  4. 全員が同じ管理者の権限のアカウントを共有してノートブックを使う
答えと解説を見る

正解:B 最小権限のサービスアカウントを使い、VPC Service Controls や CMEK で保護する

鍵のファイルの共有は避け、ユーザーや最小権限のサービスアカウントで認証する。

Q2. Workbench で PyTorch のモデルを開発するときの方法として最も適切なものはどれか。

  1. PyTorch は使えないので、必ず BigQuery ML の SQL に書き直す
  2. ノートブックでは学習できないので、紙の上で計算してから入力する
  3. PyTorch のモデルは、必ず AutoML の画面から作らなければならない
  4. PyTorch 入りのイメージを使い、必要なら GPU を割り当てる
答えと解説を見る

正解:D PyTorch 入りのイメージを使い、必要なら GPU を割り当てる

Workbench や Colab Enterprise は PyTorch・scikit-learn・JAX などに対応する。

参考リンク

2.3実験の追跡

実験の追跡(Experiments、Pipelines、Kubeflow Pipelines、予測と生成 AI の評価・LLM-as-a-judge、ML Metadata による系統の追跡)

概念

Agent Platform Experiments は、実験の実行ごとのパラメータ・指標・成果物を記録して比べられます。Pipelines(Kubeflow Pipelines の形式)の実行と組み合わせ、ML Metadata でデータ・モデル・実行の系統(リネージ)を追跡します。生成 AI の評価では、評価のサービスと LLM を審査員にする評価(LLM-as-a-judge)で品質を測ります。

仕組み・手順

  1. 実験ごとにパラメータと指標を記録する
  2. 良い結果の実験を再現できるよう、データとコードの版も記録する
  3. ML Metadata で、どのデータからどのモデルが作られたかを追跡する
  4. 生成 AI は評価データセットと LLM-as-a-judge で比べる

業務での例

学習率と木の深さを変えた 20 回の実行を Experiments で比べ、最良の実行のモデルの系統を ML Metadata で確認して登録する。

紛らわしい点・試験の注意

ミニクイズ

Q1. LLM-as-a-judge を使う際の注意点として最も適切なものはどれか。

  1. 評価者の LLM の偏りがありうるため、人の評価と照らして較正する
  2. 評価者の LLM は常に人より正確なので、人の評価は一切不要である
  3. 評価する LLM と評価される LLM は、必ず同じモデルにする
  4. 評価の基準は示さず、評価者の LLM に自由に採点させるのがよい
答えと解説を見る

正解:A 評価者の LLM の偏りがありうるため、人の評価と照らして較正する

基準(ルーブリック)を明確にし、人の評価との一致を確認する。

Q2. 実験の環境として Agent Platform Pipelines を使う場面として最も適切なものはどれか。

  1. モデルの出力を、人の担当者が 1 件ずつ採点したい
  2. 1 行のコードを試すため、すぐに対話的に実行したい
  3. 前処理から評価までを再現可能に実行したい
  4. 共同でノートブックにコメントを書き込みたい
答えと解説を見る

正解:C 前処理から評価までを再現可能に実行したい

パイプラインは再現性と自動化。対話的な試行はノートブック。

参考リンク

レッスンは当サイトがGoogle Cloud 認定の公開ページと試験ガイドをもとに独自に作成したもので、試験の内容を保証するものではありません。製品の仕様は変わることがあるため、参考リンク先の最新情報を確認してください。

ご利用上の注意(非公式・独自問題・合格保証なし)