AI-300 · LESSON 4
生成 AI の品質保証と可観測性の実装10–15% · 2項目
生成 AI アプリとエージェントの評価（品質・安全性）と、トレースによる可観測性を学びます。
4.1生成 AI アプリとエージェントの評価と検証を構成する
Configure evaluation and validation for generative AI applications and agents
概念
評価は、出力の品質と安全性を指標で測ることです。Foundry には組み込みの評価器があり、AI 支援の品質指標（groundedness・relevance・coherence・fluency）、正解との比較の指標（F1・BLEU・ROUGE・similarity）、安全性の指標（暴力・自傷・ヘイト・性的・保護素材・間接攻撃）、エージェントの指標（intent resolution・tool call accuracy・task adherence）があります。
仕組み・手順
- 代表的な質問と期待する回答を含む評価データセットを作る
- 用途に合う評価器を選ぶ（RAG なら groundedness と relevance、エージェントならツール呼び出しの正確さなど）
- クラウドまたは SDK で評価を実行し、結果を前の版と比べる
- AI Red Teaming Agent などで敵対的なテストを行い、安全性を確認する
- 評価をリリース前のゲートとして CI/CD に組み込む
業務での例
社内規程の Q&A ボットで、groundedness が 4.0 未満の回答を洗い出し、検索の設定とシステムメッセージを直してから再評価する。
紛らわしい点・試験の注意
- groundedness は「根拠（コンテキスト）に基づいているか」、relevance は「質問に答えているか」
- 正解との比較の指標（F1 など）には正解（ground truth）が必要
- 人の評価も組み合わせ、AI 支援の評価の妥当性を確かめる
ミニクイズ
Q1. 生成 AI アプリの評価を始めるにあたり、最初に用意すべきものはどれか。
- 評価に使う GPU のコンピューティングクラスターと、そのクォータの申請
- 評価結果を表示するダッシュボードの画面デザインと、配色の案
- 本番の会話ログを全件エクスポートした、個人情報を含んだままの JSONL データセット
- 質問・文脈・期待回答などを含むテストデータセットと、評価器への列の対応付け
答えと解説を見る
正解：D 質問・文脈・期待回答などを含むテストデータセットと、評価器への列の対応付け
評価はテストデータと、各列を評価器の入力に対応付けるマッピングから始まる。 【他の選択肢】個人情報を含むままの本番ログは不適切。評価器はクラスターを用意しなくても実行できる。画面デザインは評価の前提ではない。
Q2. 回答が「提供した文脈に支えられているか」を測る指標はどれか。
- 類似度（similarity）の指標
- 関連性（relevance）
- 根拠性（groundedness）
- 流暢性（fluency）
答えと解説を見る
正解：C 根拠性（groundedness）
根拠性は回答が与えられた文脈に基づいているかを測る。 【他の選択肢】関連性は質問への適合、流暢性は文章の自然さ、類似度は期待回答との近さで、文脈に支えられているかは測らない。
参考リンク
4.2生成 AI アプリとエージェントの可観測性を実装する
Implement observability for generative AI applications and agents
概念
可観測性は、本番でアプリやエージェントの内部で何が起きたかを追えるようにすることです。OpenTelemetry に基づくトレースで、プロンプト・応答・ツールの呼び出し・トークン数・レイテンシを記録し、Application Insights に送ります。継続的な評価で、本番のトラフィックのサンプルを定期的に評価できます。
仕組み・手順
- プロジェクトに Application Insights を接続する
- SDK でトレースを有効にし、各スパン（モデル呼び出し・検索・ツール）を記録する
- ダッシュボードでトークン使用量・レイテンシ・エラー率を監視する
- 継続的な評価やアラートを設定し、品質の低下を検知する
- ログに個人情報を残しすぎないよう、記録する内容を調整する
業務での例
エージェントの応答が遅いという苦情に対し、トレースでツールの呼び出しの 1 つが 8 秒かかっていることを特定し、その API にキャッシュを入れる。
紛らわしい点・試験の注意
- トレースはリクエスト単位の詳細、メトリックは集計値。目的が異なる
- プロンプトや応答の内容の記録はプライバシーの方針に従って制御する
- 評価（リリース前）と監視（リリース後）は両方必要
ミニクイズ
Q1. 本番の生成 AI アプリで、応答が遅い原因を特定したい。最も役立つものはどれか。
- エンドポイントの平均応答時間のメトリックと、5 分ごとのアラートの設定
- 1 日あたりのトークン消費量と、デプロイのクォータの使用率
- アプリのエラーログと、利用者からの問い合わせの件数
- 処理ごとのトレース（検索・モデル呼び出し・ツール実行などの時間内訳）
答えと解説を見る
正解：D 処理ごとのトレース（検索・モデル呼び出し・ツール実行などの時間内訳）
トレースで処理ごとの遅延を分解すれば、ボトルネックを特定できる。 【他の選択肢】平均応答時間ではどの処理が遅いか分からない。トークン量やクォータは原因の候補だが内訳を示さない。エラーログは遅延の内訳ではない。
Q2. 生成 AI の利用コストを部門ごとに管理したい。監視すべき指標はどれか。
- 評価スコアと安全性の検出数
- 要求数と平均応答時間
- トークン消費量とリソース使用量
- デプロイの数と使うモデルの種類
答えと解説を見る
正解：C トークン消費量とリソース使用量
コストはトークン消費とリソース使用量に強く連動する。 【他の選択肢】要求数や応答時間はコストに比例しない。評価スコアは品質の指標。デプロイの数はコストの内訳を示さない。
参考リンク
レッスンは当サイトがMicrosoft Learn の公開ページをもとに独自に作成したもので、試験の内容を保証するものではありません。製品の仕様は変わることがあるため、参考リンク先の最新情報を確認してください。
ご利用上の注意（非公式・独自問題・合格保証なし）
- 本サイトの問題は、公式に公開されているスキル概要・試験ガイドをもとに当サイトが独自に作成した練習問題であり、実際の試験問題ではありません。
- Microsoft、Azure、Copilot、Microsoft 365、Dynamics 365、Power Platform は Microsoft グループの商標です。本サイトは Microsoft と提携しておらず、Microsoft による承認・推奨を受けたものではありません。
- 本コンテンツは学習の補助であり、合格を保証するものではありません。試験の内容・形式・前提条件は予告なく変更されます。受験前に必ず公式ページで最新情報を確認してください。
- 本模擬試験の正答率は、公式試験の換算（スケール）スコア（合格 700）とは換算できず、合否を予測するものではありません。
- 未ログイン時の進捗はこのブラウザ内（localStorage）に保存します。Google でログインすると学習記録をアカウントに同期します。端末内の記録とサーバー上の記録は別に削除します。詳しくは保存・同期の説明とCookie・保存設定をご確認ください。