機械学習モデルのライフサイクルと運用の実装25–30% · 4項目

Q1. 複数の学習ジョブのパラメーターと精度を記録し、後から比較したい。適切なものはどれか。

1. Application Insights
2. ジョブの標準出力のログ
3. MLflow による実験追跡
4. データ資産のタグ

Q2. どのアルゴリズムが適しているか分からない分類問題で、候補を効率よく探索したい。適切な機能はどれか。

1. 責任ある AI のダッシュボード
2. スイープジョブ（ハイパーパラメーター調整）
3. 自動機械学習（AutoML）
4. デザイナーのパイプライン

Q1. 登録済みモデルが不要になったが、監査のため履歴は残したい。適切な対応はどれか。

1. モデルに「非推奨」のタグだけを付ける
2. モデルのバージョンをアーカイブする
3. モデルを別のワークスペースへ移す
4. モデルの最新バージョンだけを削除する

Q2. ローカル PC で実行した学習の記録を、Azure Machine Learning のワークスペースに残したい。最も適切な方法はどれか。

1. 学習の結果を、ワークスペースのジョブの説明欄に手で転記する
2. ローカルの学習を中止し、ワークスペースのクラウドのジョブで再実行する
3. ローカルの mlruns フォルダーをワークスペースのデータ資産として登録する
4. MLflow の追跡 URI をワークスペースに設定する

Q1. 受注の可否を画面操作中に即時判定したい。一方、月次の需要予測は大量データを夜間に処理したい。適切な組み合わせはどれか。

1. 両方ともオンラインエンドポイントにし、月次予測は夜間に大量の要求を送る
2. 両方ともバッチエンドポイントにし、即時判定はジョブの完了を待って返す
3. 即時判定はリアルタイム（オンライン）エンドポイント、月次予測はバッチエンドポイント
4. 即時判定はバッチエンドポイント、月次予測はリアルタイム（オンライン）エンドポイント

Q2. 本番モデルの入力データの傾向が、学習時から変化していないか継続的に確認したい。適切なものはどれか。

1. エンドポイントの要求数と遅延のメトリックに、しきい値のアラートを設定する
2. データドリフトの監視と、しきい値超過時のアラート・再学習トリガー
3. 推論の入出力をストレージに保存し、問題があった時に確認する
4. 学習時の評価指標を記録し、四半期ごとに担当者が見直す

Q1. 毎月の再学習の仕組みとして最も適切なものはどれか。

1. 学習のコマンドジョブだけをスケジュールし、評価は四半期ごとに行う
2. 前処理・学習・評価のノートブックを、担当者が毎月手で実行する
3. 前処理・学習・評価・登録のパイプラインを、スケジュールで実行する
4. 毎月 AutoML のジョブを手で設定し直し、最良のモデルを登録する

Q2. モデルの監視でデータドリフトを計算するには、比較の基準となるデータが必要である。基準として最も適切なものはどれか。

1. 評価に使ったテストデータの一部
2. ランダムに生成した、同じ列を持つデータ
3. 直近 1 日分の本番の推論の入力データ
4. 学習データ（または検証済みの過去の本番データ）