AB-100 · LESSON 3

AI を活用したビジネスソリューションの展開40–45% · 4項目

AI ソリューションの分析・監視・調整、テストの管理、ALM の設計、責任ある AI・セキュリティ・ガバナンス・リスク管理・コンプライアンスの設計を学びます。

3.1AI ソリューションを分析・監視・調整する

Analyze, monitor, and tune AI-powered business solutions

概念

公開後は、利用状況(利用率・アクティブユーザー)、品質(解決率・満足度・エスカレーション)、コスト(メッセージ・トークンの消費)を監視して改善を続けます。Copilot Studio の分析、Microsoft 365 Copilot の利用状況のダッシュボード、Azure Monitor などを使います。

仕組み・手順

  1. KPI のダッシュボードを用意する
  2. 解決できなかった会話とエスカレーションの理由を分析する
  3. ナレッジ・指示・ツールを改善し、効果を測る
  4. コストの消費を監視し、上限やアラートを設定する
  5. 定期的に関係者と振り返り、優先順位を見直す

業務での例

エスカレーション率の高い「契約変更」の会話を分析してナレッジに手順を追加し、2 週間でエスカレーション率を 30% から 12% に下げる。

紛らわしい点・試験の注意

ミニクイズ

Q1. 本番稼働中のエージェントについて、監視プロセスとして最初に定めるべきものはどれか。

  1. 開発者ごとの変更の件数とトピックの数、エージェントの公開の頻度と担当者の一覧
  2. 監視する指標(解決率・エスカレーション率・応答品質・エラー率)と確認の頻度・担当
  3. 利用者の部署ごとの利用回数と、エージェントの公開した日付
  4. エージェントのトピックの数と、ナレッジソースの登録の件数
答えと解説を見る

正解:B 監視する指標(解決率・エスカレーション率・応答品質・エラー率)と確認の頻度・担当

指標・頻度・担当を決めないと監視は形骸化する。 【他の選択肢】利用回数や公開日、トピックの数、変更の件数は品質や問題の監視の指標ではない。

Q2. 利用者からのフィードバックが多数寄せられている。改善につなげる進め方として適切なものはどれか。

  1. フィードバックを受け付けた順に開発者に渡し、届いた順に修正してもらう
  2. 肯定的なフィードバックを集計して効果を報告し、否定的な声は個別に対応する
  3. フィードバックと利用状況を分析してバックログ化し、優先度を付けて改善する
  4. フィードバックの件数を部門別に集計し、件数の多い部門の要望から対応する
答えと解説を見る

正解:C フィードバックと利用状況を分析してバックログ化し、優先度を付けて改善する

フィードバックはバックログとして管理し、影響度で優先付けする。 【他の選択肢】件数だけでは影響の大きさが分からない。肯定的な声だけでは改善につながらない。届いた順では優先度が付かない。

参考リンク

3.2AI ソリューションのテストを管理する

Manage the testing of AI-powered business solutions

概念

AI のテストでは、従来の機能テストに加え、回答の品質・安全性・偏り・ツール操作の正確さを評価します。テストセットによる自動評価、業務担当者の受け入れテスト(UAT)、敵対的なテスト(レッドチーミング)、負荷テストを組み合わせます。

仕組み・手順

  1. 代表的な質問・境界の事例・禁止すべき依頼を含むテストセットを作る
  2. 自動評価の合格基準を決める
  3. 業務担当者による受け入れテストを行う
  4. プロンプト攻撃などの敵対的なテストを行う
  5. 変更のたびに回帰テストを実行する

業務での例

本番前に業務部門の 10 人が 2 週間の受け入れテストを行い、自動評価で 90% の合格を確認し、レッドチーミングで情報漏洩の経路がないことを確かめる。

紛らわしい点・試験の注意

ミニクイズ

Q1. AI ベースのツールを使って、エージェントの問題の分析やチューニングを効率化したい。適切な考え方はどれか。

  1. AI による分析結果を手がかりにしつつ、変更は評価で効果を確認してから反映する
  2. AI ツールの分析結果の要約だけを週次で報告し、エージェントの変更はしない
  3. AI ツールの改善の提案を、評価をせずに自動で本番のエージェントに適用する
  4. AI ツールは誤りがあり得るので使わず、担当者が会話を 1 件ずつ読んで原因を分析する
答えと解説を見る

正解:A AI による分析結果を手がかりにしつつ、変更は評価で効果を確認してから反映する

AI による分析も、変更の反映前には評価で検証する。 【他の選択肢】全件の手作業は非効率である。報告だけでは改善につながらない。評価なしの自動適用は品質を下げる恐れがある。

Q2. 受注から請求まで、Sales・Supply Chain・Finance の複数の Dynamics 365 アプリにまたがる AI 機能を検証したい。適切なテストはどれか。

  1. 各アプリの画面ごとの表示の確認
  2. Finance アプリでの請求の処理の結合テスト
  3. 業務の流れ全体をたどる E2E テストシナリオ
  4. 各アプリでの AI 機能ごとの単体テスト
答えと解説を見る

正解:C 業務の流れ全体をたどる E2E テストシナリオ

アプリをまたぐ業務は E2E シナリオでないと、連携部分の不具合を見逃す。 【他の選択肢】単体テストや 1 つのアプリでの確認、画面の表示だけでは、複数のアプリをまたぐ業務の流れを検証できない。

参考リンク

3.3AI ソリューションの ALM のプロセスを設計する

Design the ALM process for AI-powered business solutions

概念

ALM は、開発・テスト・本番の環境を分け、ソリューションとパイプラインで変更を管理・移行するプロセスです。Power Platform のソリューション(マネージド・アンマネージド)、環境変数・接続参照、Power Platform パイプライン、Azure DevOps・GitHub を使い、Foundry 側の資産もコードで管理します。

仕組み・手順

  1. 環境の戦略(開発・テスト・本番、既定の環境の扱い)を決める
  2. ソリューションの単位と所有者を決める
  3. 環境ごとの値は環境変数・接続参照にする
  4. パイプラインと承認で移行を自動化する
  5. Foundry のプロンプトやエージェントの定義も Git で管理する

業務での例

Copilot Studio のエージェントは Power Platform パイプライン、Foundry のエージェントとプロンプトは GitHub Actions で、同じリリース承認の流れに乗せる。

紛らわしい点・試験の注意

ミニクイズ

Q1. AI モデルとエージェントが使うデータの ALM を設計する。適切なものはどれか。

  1. モデルとエージェントの版を Git で管理し、データは本番の最新の状態を参照する
  2. データの版・出所・更新手順を管理し、モデルやエージェントの変更と対応付ける
  3. 本番のデータを開発者の PC にコピーし、各自で版を管理する
  4. データは最新の状態だけを保持し、更新のたびに上書きする
答えと解説を見る

正解:B データの版・出所・更新手順を管理し、モデルやエージェントの変更と対応付ける

データもバージョン・出所を管理しないと、品質の変化を追跡できない。 【他の選択肢】個人の PC での管理は統制できない。上書きでは履歴が残らない。データの版を管理しないとモデルの変更との対応が分からない。

Q2. Copilot Studio のエージェント・コネクタ・アクションの ALM を設計する。適切なものはどれか。

  1. 本番の環境で直接エージェントを編集し、変更点を記録表に残しておく
  2. エージェントはソリューションで移送し、コネクタの接続と URL は本番で手作業で作り直す
  3. 開発環境で作ったエージェントを、本番環境でもう一度手作業で作り直す
  4. ソリューションでまとめ、環境変数と接続参照で環境差を吸収し、パイプラインで移送する
答えと解説を見る

正解:D ソリューションでまとめ、環境変数と接続参照で環境差を吸収し、パイプラインで移送する

ソリューション・環境変数・接続参照・パイプラインが Copilot Studio の ALM の基本。 【他の選択肢】手作業の作り直しは差異を生む。本番の直接編集は統制できない。接続を手で作ると環境差を吸収できない。

参考リンク

3.4責任ある AI・セキュリティ・ガバナンス・リスク・コンプライアンスを設計する

Design responsible AI, security, governance, risk management, and compliance

概念

責任ある AI の原則(公平性・信頼性と安全性・プライバシーとセキュリティ・包括性・透明性・説明責任)、Microsoft Purview(秘密度ラベル・DLP・監査)、Power Platform の DLP ポリシーと環境のガバナンス、Microsoft Entra ID のアクセス管理を組み合わせて、AI ソリューションのリスクを管理します。

仕組み・手順

  1. 影響の大きさとデータの機密性でリスクを評価する
  2. 秘密度ラベルと権限の整理で、Copilot が過剰な情報を参照しないようにする
  3. Power Platform の DLP ポリシーで使えるコネクタを制御する
  4. コンテンツの安全性の設定・人の承認・AI 利用の表示を設計する
  5. 監査ログと保持ポリシーで規制に対応する

業務での例

Copilot の導入前に SharePoint の過剰な共有を見直し、機密ラベルの文書へのアクセスを制限し、エージェントが使えるコネクタを DLP ポリシーで限定する。

紛らわしい点・試験の注意

ミニクイズ

Q1. リリース前に、ソリューションが責任ある AI の原則に沿っているかを確認したい。適切な進め方はどれか。

  1. 公平性・信頼性と安全性・プライバシー・透明性・説明責任の観点でレビューし、課題と対策を記録する
  2. セキュリティとプライバシーの観点だけでレビューし、利用者が少ない社内向けなので他の観点は省略する
  3. セキュリティの脆弱性の診断を行い、その結果だけで判断する
  4. 開発者が原則への準拠を自己申告し、その申告をもとに承認する
答えと解説を見る

正解:A 公平性・信頼性と安全性・プライバシー・透明性・説明責任の観点でレビューし、課題と対策を記録する

原則に沿った観点でのレビューと、その記録が求められる。 【他の選択肢】規模にかかわらずレビューは必要である。自己申告だけでは客観的でない。脆弱性の診断は責任ある AI の観点の一部にすぎない。

Q2. マネージド環境を有効にする利点として最も適切なものはどれか。

  1. 環境の利用に必要な Power Apps のライセンスが不要になる
  2. 業務に必要なエージェントが、要件から自動で作成される
  3. 共有の制限・利用状況の把握・ソリューションのチェックなどの統制機能が使える
  4. データポリシー(DLP)の設定が、利用状況から自動で作成されて不要になる
答えと解説を見る

正解:C 共有の制限・利用状況の把握・ソリューションのチェックなどの統制機能が使える

マネージド環境では、共有の制限、利用状況の分析、ソリューションのチェックなどの統制機能を使える。 【他の選択肢】マネージド環境はライセンスや DLP を不要にせず、エージェントを自動で作る機能でもない。

参考リンク

レッスンは当サイトがMicrosoft Learn の公開ページをもとに独自に作成したもので、試験の内容を保証するものではありません。製品の仕様は変わることがあるため、参考リンク先の最新情報を確認してください。

ご利用上の注意(非公式・独自問題・合格保証なし)