AB-100 · LESSON 3
AI を活用したビジネスソリューションの展開40–45% · 4項目
AI ソリューションの分析・監視・調整、テストの管理、ALM の設計、責任ある AI・セキュリティ・ガバナンス・リスク管理・コンプライアンスの設計を学びます。
3.1AI ソリューションを分析・監視・調整する
Analyze, monitor, and tune AI-powered business solutions
概念
公開後は、利用状況(利用率・アクティブユーザー)、品質(解決率・満足度・エスカレーション)、コスト(メッセージ・トークンの消費)を監視して改善を続けます。Copilot Studio の分析、Microsoft 365 Copilot の利用状況のダッシュボード、Azure Monitor などを使います。
仕組み・手順
- KPI のダッシュボードを用意する
- 解決できなかった会話とエスカレーションの理由を分析する
- ナレッジ・指示・ツールを改善し、効果を測る
- コストの消費を監視し、上限やアラートを設定する
- 定期的に関係者と振り返り、優先順位を見直す
業務での例
エスカレーション率の高い「契約変更」の会話を分析してナレッジに手順を追加し、2 週間でエスカレーション率を 30% から 12% に下げる。
紛らわしい点・試験の注意
- 利用率が低いのは品質ではなく教育や導線の問題のこともある
- 改善の前後で同じ指標を比べる
- コストの急増は意図しない利用やループの兆候
ミニクイズ
Q1. 本番稼働中のエージェントについて、監視プロセスとして最初に定めるべきものはどれか。
- 開発者ごとの変更の件数とトピックの数、エージェントの公開の頻度と担当者の一覧
- 監視する指標(解決率・エスカレーション率・応答品質・エラー率)と確認の頻度・担当
- 利用者の部署ごとの利用回数と、エージェントの公開した日付
- エージェントのトピックの数と、ナレッジソースの登録の件数
答えと解説を見る
正解:B 監視する指標(解決率・エスカレーション率・応答品質・エラー率)と確認の頻度・担当
指標・頻度・担当を決めないと監視は形骸化する。 【他の選択肢】利用回数や公開日、トピックの数、変更の件数は品質や問題の監視の指標ではない。
Q2. 利用者からのフィードバックが多数寄せられている。改善につなげる進め方として適切なものはどれか。
- フィードバックを受け付けた順に開発者に渡し、届いた順に修正してもらう
- 肯定的なフィードバックを集計して効果を報告し、否定的な声は個別に対応する
- フィードバックと利用状況を分析してバックログ化し、優先度を付けて改善する
- フィードバックの件数を部門別に集計し、件数の多い部門の要望から対応する
答えと解説を見る
正解:C フィードバックと利用状況を分析してバックログ化し、優先度を付けて改善する
フィードバックはバックログとして管理し、影響度で優先付けする。 【他の選択肢】件数だけでは影響の大きさが分からない。肯定的な声だけでは改善につながらない。届いた順では優先度が付かない。
参考リンク
3.2AI ソリューションのテストを管理する
Manage the testing of AI-powered business solutions
概念
AI のテストでは、従来の機能テストに加え、回答の品質・安全性・偏り・ツール操作の正確さを評価します。テストセットによる自動評価、業務担当者の受け入れテスト(UAT)、敵対的なテスト(レッドチーミング)、負荷テストを組み合わせます。
仕組み・手順
- 代表的な質問・境界の事例・禁止すべき依頼を含むテストセットを作る
- 自動評価の合格基準を決める
- 業務担当者による受け入れテストを行う
- プロンプト攻撃などの敵対的なテストを行う
- 変更のたびに回帰テストを実行する
業務での例
本番前に業務部門の 10 人が 2 週間の受け入れテストを行い、自動評価で 90% の合格を確認し、レッドチーミングで情報漏洩の経路がないことを確かめる。
紛らわしい点・試験の注意
- 生成 AI は出力が毎回変わりうるため、1 回の確認では不十分
- 安全性のテストを機能テストと分けて計画する
- テストセットも業務の変化に合わせて更新する
ミニクイズ
Q1. AI ベースのツールを使って、エージェントの問題の分析やチューニングを効率化したい。適切な考え方はどれか。
- AI による分析結果を手がかりにしつつ、変更は評価で効果を確認してから反映する
- AI ツールの分析結果の要約だけを週次で報告し、エージェントの変更はしない
- AI ツールの改善の提案を、評価をせずに自動で本番のエージェントに適用する
- AI ツールは誤りがあり得るので使わず、担当者が会話を 1 件ずつ読んで原因を分析する
答えと解説を見る
正解:A AI による分析結果を手がかりにしつつ、変更は評価で効果を確認してから反映する
AI による分析も、変更の反映前には評価で検証する。 【他の選択肢】全件の手作業は非効率である。報告だけでは改善につながらない。評価なしの自動適用は品質を下げる恐れがある。
Q2. 受注から請求まで、Sales・Supply Chain・Finance の複数の Dynamics 365 アプリにまたがる AI 機能を検証したい。適切なテストはどれか。
- 各アプリの画面ごとの表示の確認
- Finance アプリでの請求の処理の結合テスト
- 業務の流れ全体をたどる E2E テストシナリオ
- 各アプリでの AI 機能ごとの単体テスト
答えと解説を見る
正解:C 業務の流れ全体をたどる E2E テストシナリオ
アプリをまたぐ業務は E2E シナリオでないと、連携部分の不具合を見逃す。 【他の選択肢】単体テストや 1 つのアプリでの確認、画面の表示だけでは、複数のアプリをまたぐ業務の流れを検証できない。
参考リンク
3.3AI ソリューションの ALM のプロセスを設計する
Design the ALM process for AI-powered business solutions
概念
ALM は、開発・テスト・本番の環境を分け、ソリューションとパイプラインで変更を管理・移行するプロセスです。Power Platform のソリューション(マネージド・アンマネージド)、環境変数・接続参照、Power Platform パイプライン、Azure DevOps・GitHub を使い、Foundry 側の資産もコードで管理します。
仕組み・手順
- 環境の戦略(開発・テスト・本番、既定の環境の扱い)を決める
- ソリューションの単位と所有者を決める
- 環境ごとの値は環境変数・接続参照にする
- パイプラインと承認で移行を自動化する
- Foundry のプロンプトやエージェントの定義も Git で管理する
業務での例
Copilot Studio のエージェントは Power Platform パイプライン、Foundry のエージェントとプロンプトは GitHub Actions で、同じリリース承認の流れに乗せる。
紛らわしい点・試験の注意
- 本番を直接変更せず、必ずパイプラインを通す
- マネージドは本番向け、アンマネージドは開発向け
- ローコードとプロコードの ALM がばらばらだと整合が取れなくなる
ミニクイズ
Q1. AI モデルとエージェントが使うデータの ALM を設計する。適切なものはどれか。
- モデルとエージェントの版を Git で管理し、データは本番の最新の状態を参照する
- データの版・出所・更新手順を管理し、モデルやエージェントの変更と対応付ける
- 本番のデータを開発者の PC にコピーし、各自で版を管理する
- データは最新の状態だけを保持し、更新のたびに上書きする
答えと解説を見る
正解:B データの版・出所・更新手順を管理し、モデルやエージェントの変更と対応付ける
データもバージョン・出所を管理しないと、品質の変化を追跡できない。 【他の選択肢】個人の PC での管理は統制できない。上書きでは履歴が残らない。データの版を管理しないとモデルの変更との対応が分からない。
Q2. Copilot Studio のエージェント・コネクタ・アクションの ALM を設計する。適切なものはどれか。
- 本番の環境で直接エージェントを編集し、変更点を記録表に残しておく
- エージェントはソリューションで移送し、コネクタの接続と URL は本番で手作業で作り直す
- 開発環境で作ったエージェントを、本番環境でもう一度手作業で作り直す
- ソリューションでまとめ、環境変数と接続参照で環境差を吸収し、パイプラインで移送する
答えと解説を見る
正解:D ソリューションでまとめ、環境変数と接続参照で環境差を吸収し、パイプラインで移送する
ソリューション・環境変数・接続参照・パイプラインが Copilot Studio の ALM の基本。 【他の選択肢】手作業の作り直しは差異を生む。本番の直接編集は統制できない。接続を手で作ると環境差を吸収できない。
参考リンク
3.4責任ある AI・セキュリティ・ガバナンス・リスク・コンプライアンスを設計する
Design responsible AI, security, governance, risk management, and compliance
概念
責任ある AI の原則(公平性・信頼性と安全性・プライバシーとセキュリティ・包括性・透明性・説明責任)、Microsoft Purview(秘密度ラベル・DLP・監査)、Power Platform の DLP ポリシーと環境のガバナンス、Microsoft Entra ID のアクセス管理を組み合わせて、AI ソリューションのリスクを管理します。
仕組み・手順
- 影響の大きさとデータの機密性でリスクを評価する
- 秘密度ラベルと権限の整理で、Copilot が過剰な情報を参照しないようにする
- Power Platform の DLP ポリシーで使えるコネクタを制御する
- コンテンツの安全性の設定・人の承認・AI 利用の表示を設計する
- 監査ログと保持ポリシーで規制に対応する
業務での例
Copilot の導入前に SharePoint の過剰な共有を見直し、機密ラベルの文書へのアクセスを制限し、エージェントが使えるコネクタを DLP ポリシーで限定する。
紛らわしい点・試験の注意
- Copilot は利用者がアクセスできる情報を参照する。過剰な権限がそのまま漏洩リスクになる
- DLP には Purview(データ)と Power Platform(コネクタ)の 2 種類がある
- 責任ある AI は導入時だけでなく運用中も継続して確認する
ミニクイズ
Q1. リリース前に、ソリューションが責任ある AI の原則に沿っているかを確認したい。適切な進め方はどれか。
- 公平性・信頼性と安全性・プライバシー・透明性・説明責任の観点でレビューし、課題と対策を記録する
- セキュリティとプライバシーの観点だけでレビューし、利用者が少ない社内向けなので他の観点は省略する
- セキュリティの脆弱性の診断を行い、その結果だけで判断する
- 開発者が原則への準拠を自己申告し、その申告をもとに承認する
答えと解説を見る
正解:A 公平性・信頼性と安全性・プライバシー・透明性・説明責任の観点でレビューし、課題と対策を記録する
原則に沿った観点でのレビューと、その記録が求められる。 【他の選択肢】規模にかかわらずレビューは必要である。自己申告だけでは客観的でない。脆弱性の診断は責任ある AI の観点の一部にすぎない。
Q2. マネージド環境を有効にする利点として最も適切なものはどれか。
- 環境の利用に必要な Power Apps のライセンスが不要になる
- 業務に必要なエージェントが、要件から自動で作成される
- 共有の制限・利用状況の把握・ソリューションのチェックなどの統制機能が使える
- データポリシー(DLP)の設定が、利用状況から自動で作成されて不要になる
答えと解説を見る
正解:C 共有の制限・利用状況の把握・ソリューションのチェックなどの統制機能が使える
マネージド環境では、共有の制限、利用状況の分析、ソリューションのチェックなどの統制機能を使える。 【他の選択肢】マネージド環境はライセンスや DLP を不要にせず、エージェントを自動で作る機能でもない。
参考リンク
レッスンは当サイトがMicrosoft Learn の公開ページをもとに独自に作成したもので、試験の内容を保証するものではありません。製品の仕様は変わることがあるため、参考リンク先の最新情報を確認してください。
ご利用上の注意(非公式・独自問題・合格保証なし)
- 本サイトの問題は、公式に公開されているスキル概要・試験ガイドをもとに当サイトが独自に作成した練習問題であり、実際の試験問題ではありません。
- Microsoft、Azure、Copilot、Microsoft 365、Dynamics 365、Power Platform は Microsoft グループの商標です。本サイトは Microsoft と提携しておらず、Microsoft による承認・推奨を受けたものではありません。
- 本コンテンツは学習の補助であり、合格を保証するものではありません。試験の内容・形式・前提条件は予告なく変更されます。受験前に必ず公式ページで最新情報を確認してください。
- 本模擬試験の正答率は、公式試験の換算(スケール)スコア(合格 700)とは換算できず、合否を予測するものではありません。
- 未ログイン時の進捗はこのブラウザ内(localStorage)に保存します。Google でログインすると学習記録をアカウントに同期します。端末内の記録とサーバー上の記録は別に削除します。詳しくは保存・同期の説明とCookie・保存設定をご確認ください。