AB-620 · LESSON 3
エージェントのテストと管理20–25% · 2項目
エージェントの性能の評価と、Copilot Studio のエージェントのアプリケーションライフサイクル管理（ALM）を学びます。
3.1エージェントの性能を評価する
Evaluate agent performance
概念
エージェントの評価は、テストの質問集で回答を自動で採点し、品質を測ることです。Copilot Studio のエージェント評価では、テストセット（手入力・CSV・生成）を作り、回答の品質や期待する回答との一致で評価します。公開後は分析（解決率・エスカレーション率・満足度・ナレッジの利用）で改善点を探します。
仕組み・手順
- 代表的な質問と期待する回答のテストセットを作る
- 評価を実行し、合否と理由を確認する
- 失敗の原因（ナレッジ不足・指示の曖昧さ・ツールの説明）を直して再評価する
- 公開後は分析のダッシュボードで解決率やエスカレーションを監視する
- 変更のたびに同じテストセットで回帰を確認する
業務での例
IT ヘルプのエージェントの 100 問のテストセットで、パスワード再設定の質問が不合格だった原因（古い手順書）を直し、再評価で合格を確認する。
紛らわしい点・試験の注意
- テストパネルでの手動確認だけでは、変更による回帰を見逃しやすい
- 分析の指標は公開後の実利用のデータ
- 期待する回答はナレッジの最新の内容に合わせて更新する
ミニクイズ
Q1. エージェントの品質を継続的に評価したい。テストセットの作り方として最も適切なものはどれか。
- 代表的な質問と期待する回答（満たすべき条件）を組にして用意し、改修のたびに再実行する
- 利用者の低評価が付いた会話だけを集め、問題が起きた回答の再現テストに使う
- 本番の会話ログから無作為に質問を抜き出し、毎回異なる質問でその都度評価する
- 開発者が作成時に試した質問を記録しておき、初回リリースの前に一度だけまとめて結果を確認する
答えと解説を見る
正解：A 代表的な質問と期待する回答（満たすべき条件）を組にして用意し、改修のたびに再実行する
固定のテストセットを繰り返し実行することで、改修による劣化（回帰）を検知できる。 【他の選択肢】毎回違う質問では改修前後を比較できない。リリース前に一度だけでは継続的な評価にならない。低評価の会話だけでは代表的な質問を網羅できない。
Q2. テスト結果で不正解が多かった。改善の進め方として最も適切なものはどれか。
- 不正解だった質問をトピックのトリガーフレーズに追加し、固定の回答で返すように切り替える
- 失敗を原因別（ナレッジ不足、誤ルーティング、ツール失敗、権限不足など）に分類して対策する
- 標準より大きいモデルにカスタムプロンプトで切り替え、全体の回答精度が上がるか確認する
- コンテンツモデレーションを緩めて、回答を控えたケースを減らしてから再テストを行う
答えと解説を見る
正解：B 失敗を原因別（ナレッジ不足、誤ルーティング、ツール失敗、権限不足など）に分類して対策する
原因によって打ち手が異なる。失敗ケースを消すのは評価の意味を失わせる。 【他の選択肢】原因を特定せずにトピック化やモデル変更、モデレーションの変更をしても、ナレッジ不足や権限不足などの根本原因は解決しない。
参考リンク
3.2Copilot Studio のエージェントの ALM を実装する
Implement application lifecycle management (ALM) for agents in Copilot Studio
概念
ALM は、エージェントを開発・テスト・本番の環境で安全に管理・移行する仕組みです。Power Platform のソリューションにエージェント・フロー・コネクタ・環境変数をまとめ、本番にはマネージドソリューションとして入れます。Power Platform のパイプラインや Azure DevOps・GitHub で移行を自動化し、Git 連携でソースを管理します。
仕組み・手順
- 開発・テスト・本番の環境を分ける
- エージェントと関連コンポーネントを同じソリューションに入れる
- 環境ごとに異なる値は環境変数、接続は接続参照にする
- テスト・本番にはマネージドソリューションとしてインポートする
- パイプラインで移行を自動化し、承認を入れる
業務での例
開発環境のエージェントを Power Platform のパイプラインでテスト環境に展開して評価し、承認後に本番へマネージドソリューションとして展開する。
紛らわしい点・試験の注意
- 本番でアンマネージドの変更をすると、次の展開で競合の原因になる
- 環境変数と接続参照を使わないと、環境ごとに手で設定し直すことになる
- ソリューションに含め忘れたコンポーネントは移行されない
ミニクイズ
Q1. 開発環境で作成したエージェントを本番環境へ移したい。標準的な方法はどれか。
- 本番環境でエージェントのコピーを作り、開発環境の設定を手で合わせる
- エージェントのトピックをコード エディターで書き出し、本番に貼り付ける
- 開発環境のエージェントを本番の利用者にも共有して、そのまま使わせる
- エージェントをソリューションに含め、ソリューションとして移送する
答えと解説を見る
正解：D エージェントをソリューションに含め、ソリューションとして移送する
ソリューションは環境間移送の単位。手作業の再作成は差異や漏れの原因になる。 【他の選択肢】トピックの貼り付けや手作業の再現は漏れが出やすい。開発環境を本番として使うと環境の分離が崩れる。
Q2. 既に作成済みのエージェントを、後から ALM の管理下に置きたい。適切な対応はどれか。
- エージェントを書き出して新しい環境で作り直す
- エージェントを既定のソリューションのまま移送する
- エージェントのトピックを1つずつ別ソリューションに移す
- 既存のエージェントをソリューションに追加する
答えと解説を見る
正解：D 既存のエージェントをソリューションに追加する
既存エージェントもソリューションへ追加できる。 【他の選択肢】作り直しは不要。既定のソリューションは移送の単位に向かない。トピックだけでなくエージェント自体を追加する必要がある。
参考リンク
レッスンは当サイトがMicrosoft Learn の公開ページをもとに独自に作成したもので、試験の内容を保証するものではありません。製品の仕様は変わることがあるため、参考リンク先の最新情報を確認してください。
ご利用上の注意（非公式・独自問題・合格保証なし）
- 本サイトの問題は、公式に公開されているスキル概要・試験ガイドをもとに当サイトが独自に作成した練習問題であり、実際の試験問題ではありません。
- Microsoft、Azure、Copilot、Microsoft 365、Dynamics 365、Power Platform は Microsoft グループの商標です。本サイトは Microsoft と提携しておらず、Microsoft による承認・推奨を受けたものではありません。
- 本コンテンツは学習の補助であり、合格を保証するものではありません。試験の内容・形式・前提条件は予告なく変更されます。受験前に必ず公式ページで最新情報を確認してください。
- 本模擬試験の正答率は、公式試験の換算（スケール）スコア（合格 700）とは換算できず、合否を予測するものではありません。
- 未ログイン時の進捗はこのブラウザ内（localStorage）に保存します。Google でログインすると学習記録をアカウントに同期します。端末内の記録とサーバー上の記録は別に削除します。詳しくは保存・同期の説明とCookie・保存設定をご確認ください。