AI-300 · LESSON 5
生成 AI システムとモデル性能の最適化10–15% · 2項目
RAG の検索の性能と精度の最適化と、ファインチューニングなどのモデルのカスタマイズを学びます。
5.1RAG の性能と精度を最適化する
Optimize retrieval-augmented generation (RAG) performance and accuracy
概念
RAG の回答の品質は、検索で正しい情報を取り出せるかで決まります。Azure AI Search では、キーワード（BM25）とベクトルを組み合わせたハイブリッド検索、セマンティックランカーによる再順位付け、適切なチャンク分割、クエリの書き換えで精度を上げます。
仕組み・手順
- 文書を意味のまとまりで、重なり（オーバーラップ）を持たせてチャンクに分割する
- 埋め込みモデルでベクトルを作り、ベクトルとキーワードのハイブリッド検索にする
- セマンティックランカーで上位の結果を再順位付けする
- top-k や関連度の閾値を調整し、無関係なチャンクを減らす
- 検索の評価（取得の適合率・再現率）と回答の評価（groundedness）を分けて測る
業務での例
製品の型番で検索すると外れる問題を、ハイブリッド検索でキーワードの完全一致も拾うようにして解決し、さらにセマンティックランカーで上位を並べ替える。
紛らわしい点・試験の注意
- 型番や固有名詞はベクトル検索だけでは外れやすい。ハイブリッドが有効
- チャンクが大きすぎると無関係な情報が混ざり、小さすぎると文脈が失われる
- 回答の誤りが検索の問題か生成の問題かを切り分ける
ミニクイズ
Q1. RAG で、関係の薄い文書まで回答の根拠に混ざる。検索側で調整すべき項目として適切なものはどれか。
- 回答の最大トークン数
- 類似度しきい値と取得件数
- システムメッセージの口調
- 生成モデルの temperature
答えと解説を見る
正解：B 類似度しきい値と取得件数
しきい値を上げる・取得件数を絞ると、関連の薄い文書を除外しやすい。 【他の選択肢】temperature、最大トークン数、口調は生成側の設定で、検索で取得する文書の範囲は変わらない。
Q2. 長い規程文書の RAG で、回答に必要な前後の文脈が欠ける。調整すべきものはどれか。
- チャンクサイズ（と重なり幅）
- 取得件数（top-k）だけ
- 生成モデルの temperature の値
- 埋め込みモデルの次元数
答えと解説を見る
正解：A チャンクサイズ（と重なり幅）
チャンクが小さすぎると文脈が分断される。サイズと重なりを評価しながら調整する。 【他の選択肢】取得件数を増やしても、分割で途切れた前後の文脈は戻らない。次元数や temperature は文脈の欠落を解消しない。
参考リンク
5.2高度なファインチューニングとモデルのカスタマイズを実装する
Implement advanced fine-tuning and model customization
概念
ファインチューニングは、自社のデータでモデルを追加学習し、形式・文体・専門のタスクに適応させる方法です。Foundry では、教師ありファインチューニング（SFT）、好みのペアで学習する DPO（直接選好最適化）、推論モデル向けの強化学習によるファインチューニング（RFT）などを使えます。大きなモデルの出力で小さなモデルを学習する蒸留もコストの削減に有効です。
仕組み・手順
- まずプロンプトと RAG で要件を満たせないかを確認する
- 学習データを JSONL（会話の形式）で用意し、学習用と検証用に分ける
- 目的に合う手法（SFT・DPO・RFT）とベースモデルを選ぶ
- 学習後のモデルを評価データで元のモデルと比べる
- ファインチューニング済みのモデルをデプロイし、ホスティングの料金も考慮する
業務での例
保険の査定メモを決まった形式で要約させるため、500 件の入力と理想の要約で SFT を行い、プロンプトだけの場合より形式の崩れを大幅に減らす。
紛らわしい点・試験の注意
- 最新の事実や頻繁に変わる情報の追加には、ファインチューニングより RAG が向く
- DPO は「良い回答と悪い回答のペア」が必要
- ファインチューニング済みモデルはデプロイしている間ホスティング料金がかかる
ミニクイズ
Q1. ファインチューニングが RAG より適しているケースはどれか。
- 利用者ごとの閲覧権限に応じて、回答を絞り込みたい場合
- 出力の形式や口調、特定タスクの振る舞いを安定させたい場合
- 回答の根拠となった文書の引用を、利用者に示したい場合
- 毎日更新される社内の最新情報を、回答に正しく反映したい場合
答えと解説を見る
正解：B 出力の形式や口調、特定タスクの振る舞いを安定させたい場合
最新知識の反映は RAG、振る舞いの調整はファインチューニングが向く。 【他の選択肢】最新情報の反映、引用の表示、権限での絞り込みは RAG が向く。ファインチューニングでは実現しにくい。
Q2. ファインチューニングしたモデルを本番へ載せる流れとして適切なものはどれか。
- 学習が終わったらすぐに本番へ展開し、評価は本番の利用状況を見て行う
- 新旧のモデルを別のエンドポイントで公開し、利用者に選んで使ってもらう
- 学習の損失が下がったことを確認し、旧モデルを置き換えて全量を一度に切り替える
- 評価で基準を満たしたことを確認し、バージョン管理したうえで段階的に展開する
答えと解説を見る
正解：D 評価で基準を満たしたことを確認し、バージョン管理したうえで段階的に展開する
ファインチューニング済みモデルも、開発から本番まで通常のモデルと同じく評価・バージョン管理・段階展開で管理する。 【他の選択肢】学習の損失だけでは業務の品質を判断できない。評価前の展開は危険。利用者に選ばせるのは段階的な展開ではない。
参考リンク
レッスンは当サイトがMicrosoft Learn の公開ページをもとに独自に作成したもので、試験の内容を保証するものではありません。製品の仕様は変わることがあるため、参考リンク先の最新情報を確認してください。
ご利用上の注意（非公式・独自問題・合格保証なし）
- 本サイトの問題は、公式に公開されているスキル概要・試験ガイドをもとに当サイトが独自に作成した練習問題であり、実際の試験問題ではありません。
- Microsoft、Azure、Copilot、Microsoft 365、Dynamics 365、Power Platform は Microsoft グループの商標です。本サイトは Microsoft と提携しておらず、Microsoft による承認・推奨を受けたものではありません。
- 本コンテンツは学習の補助であり、合格を保証するものではありません。試験の内容・形式・前提条件は予告なく変更されます。受験前に必ず公式ページで最新情報を確認してください。
- 本模擬試験の正答率は、公式試験の換算（スケール）スコア（合格 700）とは換算できず、合否を予測するものではありません。
- 未ログイン時の進捗はこのブラウザ内（localStorage）に保存します。Google でログインすると学習記録をアカウントに同期します。端末内の記録とサーバー上の記録は別に削除します。詳しくは保存・同期の説明とCookie・保存設定をご確認ください。