AIP-C01 · LESSON 3

AI の安全性、セキュリティ、ガバナンス20% · 4項目

入出力の安全のコントロール、データのセキュリティとプライバシー、AI のガバナンスとコンプライアンス、責任ある AI の原則の実装を学びます。

3.1入力と出力の安全コントロール

3.1 入力と出力の安全コントロールを実装する。

概念

Bedrock のガードレールは、コンテンツのフィルター(ヘイト・侮辱・性的・暴力・不正行為・プロンプトの攻撃)、拒否するトピック、単語のフィルター、機密情報のフィルター(PII のブロック・マスキング)、コンテキストのグラウンディングのチェック(根拠と関連性の確認でハルシネーションを検出)、自動推論のチェック(ルールに基づく論理的な検証)を、入力と出力に適用します。ApplyGuardrail API でモデルの呼び出しと独立に使うこともできます。

仕組み・手順

  1. ユースケースのリスクから、必要なフィルターと強さを決める
  2. プロンプトの攻撃のフィルターで、ジェイルブレイクやインジェクションを検出する
  3. 拒否するトピック(投資の助言など)を定義する
  4. RAG ではグラウンディングのチェックで根拠のない回答を止める
  5. ApplyGuardrail で、Bedrock 以外のモデルの入出力にも適用する

業務での例

保険の相談のチャットで、個別の投資の助言を拒否するトピックに設定し、回答がナレッジの根拠から外れたらグラウンディングのチェックでブロックする。

紛らわしい点・試験の注意

ミニクイズ

Q1. 人事の規程の質問への回答が、規程のルールと論理的に矛盾していないかを検証したい。最も適切な機能はどれか。

  1. 回答の文字数を短く制限して、矛盾が入り込む余地をなくすことにする
  2. temperature を下げることで、回答が規程のルールと矛盾しないことを数学的に完全に保証する
  3. Guardrails の自動推論のチェックで、規程のルールから作ったポリシーに照らして回答を検証する
  4. コンテンツフィルターの強さを最大にして、規程と矛盾する回答を止める
答えと解説を見る

正解:C Guardrails の自動推論のチェックで、規程のルールから作ったポリシーに照らして回答を検証する

自動推論のチェックは、文書から作った論理のポリシーで回答の正しさを形式的に検証する。

Q2. 回答に競合の会社の商品名や、社内で使わない言葉が出ないようにしたい。最も適切な設定はどれか。

  1. 拒否されたトピックに、商品名を 1 文字ずつ別々のトピックとして登録する
  2. ガードレールのワードフィルターに、止めたい言葉のリストを登録する
  3. コンテンツフィルターの憎悪のカテゴリーを最大にして、言葉を止める
  4. システムプロンプトに商品名を並べ、モデルにその言葉を覚えさせておく
答えと解説を見る

正解:B ガードレールのワードフィルターに、止めたい言葉のリストを登録する

ワードフィルターは、指定した言葉や冒涜的な言葉を含む入力と出力を止める。

参考リンク

3.2データセキュリティとプライバシーコントロール

3.2 データセキュリティとプライバシーコントロールを実装する。

概念

Bedrock では、プロンプトと応答はモデルの提供者と共有されず、基盤モデルの学習にも使われません。利用者は、KMS のカスタマーマネージドキーでの暗号化(カスタムモデル・ナレッジベース・エージェント)、VPC エンドポイント、IAM の条件キーによるモデルの利用の制限、Macie での学習データの機密情報の検出、ガードレールでの PII のマスキングで、データを保護します。

仕組み・手順

  1. データの分類と、扱ってよいモデル・リージョンを決める
  2. IAM ポリシーで使えるモデルを限定する
  3. カスタマーマネージドキーで保存データを暗号化する
  4. VPC エンドポイントでインターネットを経由せずに呼ぶ
  5. PII を検出してマスキングし、ログにも残さない

業務での例

顧客の問い合わせの要約で、ガードレールで電話番号とメールアドレスをマスキングし、カスタムモデルとナレッジベースをカスタマーマネージドキーで暗号化する。

紛らわしい点・試験の注意

ミニクイズ

Q1. チャットのテキストを埋め込みにする前に、個人情報を検出して取り除きたい。リアルタイムに処理したい。最も適切なサービスはどれか。

  1. AWS Glue のクローラー
  2. Amazon Rekognition の画像のラベルの検出
  3. Amazon Comprehend の PII の検出
  4. Amazon Polly の音声合成
答えと解説を見る

正解:C Amazon Comprehend の PII の検出

Amazon Comprehend は、テキストの中の PII の種類と位置を検出できる。

Q2. 生成 AI のデータの保護とガバナンスの説明として誤っているものはどれか。

  1. インターフェイス VPC エンドポイントで、インターネットを通らずに Bedrock を呼べる
  2. KMS のカスタマーマネージドキーで、カスタムモデルを暗号化できる
  3. CloudTrail で、Bedrock の API の操作を記録できる
  4. Bedrock に送ったプロンプトは、既定でモデルの提供元に共有されて学習に使われる
答えと解説を見る

正解:D Bedrock に送ったプロンプトは、既定でモデルの提供元に共有されて学習に使われる

Bedrock は、プロンプトや応答をモデルの提供元と共有せず、基盤モデルの学習にも使わない。

参考リンク

3.3AI ガバナンスとコンプライアンスの仕組み

3.3 AI ガバナンスとコンプライアンスのメカニズムを実装する。

概念

ガバナンスの仕組みには、モデルの呼び出しのログ(プロンプトと応答を S3・CloudWatch Logs に記録)、CloudTrail(API の操作の記録)、SCP や IAM による利用できるモデルの統制、タグとコストの配分、モデルとプロンプトの版と承認の管理、文書化(Model Cards など)があります。

仕組み・手順

  1. モデルの呼び出しのログを有効にし、保持期間を決める
  2. SCP で組織として承認したモデルだけを許可する
  3. プロンプトとモデルの版を管理し、変更の承認を記録する
  4. 利用状況とコストをタグで部門別に可視化する
  5. 定期的に監査し、規制の要件を満たしているか確認する

業務での例

監査の要件に合わせて、モデルの呼び出しのログを暗号化した S3 に 1 年保存し、SCP で未承認のモデルの InvokeModel を拒否する。

紛らわしい点・試験の注意

ミニクイズ

Q1. 組織の全アカウントで、承認したモデルの他は呼べないようにしたい。最も適切な方法はどれか。

  1. モデルの呼び出しのログを月に 1 回確かめて、違反した人に注意する
  2. 承認していないモデルは、システムプロンプトで使わないように頼んでおく
  3. 各アカウントの利用者に、承認したモデルの一覧をメールで送っておく
  4. AWS Organizations の SCP で、承認したモデルの他の呼び出しを拒否する
答えと解説を見る

正解:D AWS Organizations の SCP で、承認したモデルの他の呼び出しを拒否する

SCP は組織の全アカウントで使える権限の上限を決める。モデルの ARN で条件を付けて拒否できる。

Q2. すべてのモデルの呼び出しで、決めたガードレールを必ず使わせたい。開発者が付け忘れても防ぎたい。最も適切な方法はどれか。

  1. IAM の条件キー bedrock:GuardrailIdentifier で、指定したガードレールのない呼び出しを拒否する
  2. 共通の SDK のラッパーで、呼び出しのたびにガードレールを付ける
  3. CloudTrail のログを調べ、ガードレールのない呼び出しを通知する
  4. ガードレールの ID を全チームに共有し、付け方を手順書で周知する
答えと解説を見る

正解:A IAM の条件キー bedrock:GuardrailIdentifier で、指定したガードレールのない呼び出しを拒否する

IAM の条件キー bedrock:GuardrailIdentifier で、特定のガードレールを使う推論だけを許可できる。 【他の選択肢】ラッパーを使わずに直接呼ばれると防げない。CloudTrail の確認は事後の検出。共有と周知だけでは付け忘れを防げない。

参考リンク

3.4責任ある AI の原則を実装する

3.4 責任ある AI の原則を実装する。

概念

AWS の責任ある AI の観点(公平性・説明可能性・プライバシーとセキュリティ・安全性・制御可能性・正確性と堅牢性・ガバナンス・透明性)を、評価(偏りや有害性のテスト)、ガードレール、人の確認、利用者への開示、継続的な監視で実装します。

仕組み・手順

  1. ユースケースのリスクと影響を受ける人を洗い出す
  2. 属性ごとの品質の差や有害な出力を評価する
  3. ガードレールと人の確認でリスクを軽減する
  4. 利用者に AI の利用と限界を開示する
  5. 本番の苦情やフィードバックを監視して改善する

業務での例

採用の書類の要約で、応募者の属性によって要約の質が変わらないかを評価し、最終判断は必ず人が行うことを明示する。

紛らわしい点・試験の注意

ミニクイズ

Q1. 社外の顧客向けのチャットで、透明性を高めたい。最も適切な対応はどれか。

  1. AI が生成した回答であることを示し、根拠の資料と、人の担当者に切り替える方法も示す
  2. 人の担当者への切り替えはできないようにして、すべて AI だけで対応する
  3. 回答の根拠は社内の秘密なので、引用できる資料がある場合でも利用者には一切示さないことにする
  4. AI が回答していることは伏せ、人の担当者が答えているように見せておく
答えと解説を見る

正解:A AI が生成した回答であることを示し、根拠の資料と、人の担当者に切り替える方法も示す

透明性のため、AI であることを示し、根拠を示し、人に相談する道を残す。

Q2. 採用の書類の要約のアシスタントで、応募者の性別や年齢で要約の内容が変わらないかを確かめたい。最も適切な方法はどれか。

  1. 属性だけを変えた入力の組で出力を比べ、差を評価の指標として続けて記録する
  2. 入力から性別や年齢の列を除いてから要約させ、評価は公開の前に行う
  3. 開発者が代表の書類を読み比べ、偏りがなければ公平と判断する
  4. ガードレールの拒否されたトピックに差別的な表現を登録する
答えと解説を見る

正解:A 属性だけを変えた入力の組で出力を比べ、差を評価の指標として続けて記録する

属性だけを変えた入力の組で出力を比べると、偏りを見つけやすい。評価は継続して行う。 【他の選択肢】属性を除いても、名前などから推測されることがあり、継続の評価もない。ガードレールは有害な表現を止めるが、要約の内容の差を測らない。少数の目視は再現できない。

参考リンク

レッスンは当サイトがAWS 認定の公式ページと公式試験ガイドをもとに独自に作成したもので、試験の内容を保証するものではありません。製品の仕様は変わることがあるため、参考リンク先の最新情報を確認してください。

ご利用上の注意(非公式・独自問題・合格保証なし)