ML モデルと基盤モデル (FM) の開発24% · 3項目

Q1. ML の専門家が少ないチームで、表のデータから分類のモデルを自動で作り、候補を比べたい。最も適切な方法はどれか。

1. Bedrock の基盤モデルに表のデータを渡し、分類させる
2. JumpStart の事前学習済みのモデルを選び、表のデータで微調整する
3. SageMaker Autopilot で、前処理・アルゴリズム・チューニングを自動で試す
4. 自動モデルチューニングで、XGBoost のハイパーパラメータを探す

Q2. アシスタントに使う基盤モデルを Bedrock から選びたい。最も適切な進め方はどれか。

1. 自社の質問の評価データで、Bedrock の評価を使い品質・遅延・費用を比べる
2. 公開のベンチマークで最も点数の高いモデルを選び、本番で確かめる
3. 最も大きいモデルで始め、費用が問題になったら小さいものに替える
4. Bedrock のプレイグラウンドで代表の質問を試し、印象の良いものを選ぶ

Q1. 学習データの精度は 99% だが、検証データの精度は 70% しかない。最も適切な対策はどれか。

1. 学習率を大きくして、学習データの精度が 100% になるまで学習させる
2. モデルをさらに大きく複雑にして、学習のエポックの数も大きく増やす
3. 検証データを使うのをやめて、学習データの精度だけでモデルを評価する
4. 正則化を強めるか早期終了を使い、学習データを増やすことも検討する

Q2. 学習データでも検証データでも精度が低く、どちらも 60% 前後で止まっている。最も適切な対策はどれか。

1. 特徴量を増やすか、より表現力の高いモデルにして、正則化を弱める
2. 正則化をさらに強めて、モデルが学習データに合いにくいようにする
3. 検証データを学習データに混ぜて、精度が高く見えるようにする
4. 学習データの件数を半分に減らして、学習の時間を短くしておく

Q1. 不正の検知のモデルの混同行列を見ると、偽陰性（見逃し）が多い。モデルは変えずに見逃しを減らしたい。最も適切な調整はどれか。

1. 評価用のデータから、見逃した取引をすべて取り除く
2. 偽陰性の件数を、正解の件数として数え直しておく
3. 分類のしきい値を上げて、陽性と判定する範囲を狭める
4. 分類のしきい値を下げて、陽性と判定する範囲を広げる

Q2. 多くの実験を実行していて、どのハイパーパラメータとデータで最良の指標が出たのか分からなくなった。最も適切な方法はどれか。

1. SageMaker Model Registry に各モデルを登録し、版の番号で比べる
2. マネージドな MLflow で、実験ごとのパラメータと指標・成果物を記録する
3. 学習ジョブのタグに指標の値を書き、Resource Groups で一覧にする
4. CloudWatch Logs に学習のログを出し、Logs Insights で指標を検索する