AIAI Agent Dev Labaiagentdev-lab.com
3分適性診断 →
無料で学習を始める／ログイン無料で始める
メニュー

AI-103 · LESSON 3

コンピュータービジョンソリューションの実装10–15% · 3項目

画像・動画の生成、マルチモーダルの理解のワークフロー、マルチモーダルのコンテンツの責任ある AI を学びます。

3.1画像・動画の生成ソリューションを設計・実装する

Design and implement image- and video-generation solutions

概念

Foundry では、画像の生成・編集のモデル（gpt-image 系・DALL-E 系など）や動画の生成のモデル（Sora など）を使えます。プロンプトで内容・スタイル・構図を指定し、編集（インペインティング）や参照画像を使った生成も可能です。生成物には C2PA の来歴情報（コンテンツの資格情報）が付きます。

仕組み・手順

  1. 用途（広告の案・製品のイメージ・研修の動画）と必要な解像度・長さを決める
  2. プロンプトに被写体・スタイル・構図・避けるものを具体的に書く
  3. 編集や参照画像で、既存の画像を元に修正する
  4. 生成物を人が確認し、権利や表現の問題がないか確かめる
  5. 生成物であることを表示し、来歴情報を保持する

業務での例

マーケティング部が新商品のバナーの案を 10 枚生成し、デザイナーが 1 枚を選んで仕上げる。実在の人物やロゴを含む指示はフィルターで拒否される。

紛らわしい点・試験の注意

ミニクイズ

Q1. 商品写真（参照画像）とテキスト指示から、季節キャンペーン用の画像を生成したい。適切な実装はどれか。

  1. 画像分析で写真のタグを抽出し、タグから新しい画像を検索する
  2. マルチモーダル モデルで写真を説明させ、その文章だけで画像を生成する
  3. テキスト プロンプトと参照画像を入力とする画像生成を使う
  4. Content Understanding で写真から特徴を抽出し、テンプレートに当てはめる
答えと解説を見る

正解：C　テキスト プロンプトと参照画像を入力とする画像生成を使う

参照画像付きの画像生成で、元の商品の特徴を保ちながら新しい画像を作れる。 【他の選択肢】タグからの検索は生成ではない。説明文だけでは商品の見た目を保てない。Content Understanding は抽出用で画像を生成しない。

Q2. 生成した画像の背景の一部だけを差し替えたい。適切な手法はどれか。

  1. マスクを指定するインペインティング
  2. 生成時の画像サイズと品質の設定を上げる
  3. 参照画像を変えて画像のバリエーションを作る
  4. 同じプロンプトで画像全体を再生成する
答えと解説を見る

正解：A　マスクを指定するインペインティング

インペインティングはマスク範囲だけを編集できる。 【他の選択肢】全体の再生成やバリエーションでは、指定した部分だけを差し替えられない。サイズや品質の設定は編集範囲を指定しない。

参考リンク

3.2マルチモーダル理解のワークフローを設計・実装する

Design and implement multimodal understanding workflows

概念

マルチモーダルのモデル（GPT-4o 系など）は、画像とテキストを一緒に入力して内容を理解・説明できます。Azure Content Understanding は、文書・画像・音声・動画から、定義したスキーマ（フィールド）に沿って情報を抽出する Foundry Tools のサービスです。Azure AI Vision は OCR・タグ付け・キャプションなどの定型の画像解析を提供します。

仕組み・手順

  1. 入力の種類（画像・動画・文書）と、欲しい出力（説明・フィールドの抽出・分類）を決める
  2. 自由な説明や質問応答はマルチモーダルのモデルに画像を渡す
  3. 決まった項目の抽出は Content Understanding のアナライザーでスキーマを定義する
  4. 定型の OCR やタグ付けは Azure AI Vision を使う
  5. 出力を検証し、信頼度の低いものは人が確認する

業務での例

保険の事故写真と説明文をマルチモーダルのモデルに渡して損傷の概要を作り、修理の見積書は Content Understanding で金額と部品を抽出する。

紛らわしい点・試験の注意

ミニクイズ

Q1. Web サイトの画像に、アクセシビリティ要件に沿った代替テキストを付けたい。適切な方法はどれか。

  1. 全画像に同じ説明文のテンプレートを付け、ページ単位で一括設定する
  2. マルチモーダル モデルで画像を記述させ、要件に合わせて長さを調整する
  3. 画像の OCR で読み取った文字列を、そのまま代替テキストとして設定する
  4. 画像分析のタグ付けで抽出したキーワードを、カンマ区切りで代替テキストにする
答えと解説を見る

正解：B　マルチモーダル モデルで画像を記述させ、要件に合わせて長さを調整する

マルチモーダルモデルで画像に即した説明を生成できる。用途に応じて長さを調整する。 【他の選択肢】タグの羅列や OCR の文字列は画像の内容や目的を説明しない。同じテンプレートでは画像ごとの内容を伝えられない。

Q2. 設備写真を見せて「この部品に損傷はあるか」と質問し、画像を根拠に回答させたい。適切なものはどれか。

  1. Document Intelligence のレイアウト分析と表の抽出
  2. 画像の埋め込みによる類似画像の検索
  3. 画像分析による物体検出とタグ付け
  4. マルチモーダル モデルによる画像を根拠とした質問応答
答えと解説を見る

正解：D　マルチモーダル モデルによる画像を根拠とした質問応答

画像を入力として扱えるマルチモーダルモデルで、視覚的根拠に基づく QA を実装する。 【他の選択肢】物体検出やタグ付けは損傷の有無を質問に答えて判断しない。レイアウト分析は文書向けで、類似画像の検索は質問応答ではない。

参考リンク

3.3マルチモーダルのコンテンツに責任ある AI を実装する

Implement responsible AI for multimodal content

概念

画像・動画を扱う AI では、有害な画像の生成と入力の両方への対策、顔などの機微な情報の扱い、生成物の来歴の表示が重要です。コンテンツフィルター（画像の入出力）、Azure AI Content Safety の画像のモデレーション、制限付きの機能（顔認識など）の利用申請、C2PA の来歴情報を組み合わせます。

仕組み・手順

  1. 画像の入力と出力の両方にフィルターを設定する
  2. 利用者がアップロードする画像を Content Safety で審査する
  3. 顔の識別などの制限付き機能は、利用の要件と申請を確認する
  4. 生成物に AI 生成であることを表示し、来歴情報を保持する
  5. 定期的に誤検知と見逃しを確認し、閾値を調整する

業務での例

利用者が投稿する画像の掲示板で、Content Safety で暴力・性的な画像を自動で保留にし、境界の事例は担当者が判断する。

紛らわしい点・試験の注意

ミニクイズ

Q1. 安全でない、または禁止された画像コンテンツを自動で分類したい。適切なものはどれか。

  1. 画像からの代替テキストの生成
  2. 画像の埋め込みによる禁止画像との類似度の検索
  3. マルチモーダル コンテンツ向けの安全フィルター
  4. 画像分析のタグ付けと物体検出
答えと解説を見る

正解：C　マルチモーダル コンテンツ向けの安全フィルター

視覚コンテンツにも安全フィルターを適用して分類・ブロックする。 【他の選択肢】タグ付けや代替テキストは内容の記述で、安全性の分類ではない。類似検索では禁止内容のカテゴリーを判定できない。

Q2. 利用者がアップロードする画像に、不適切な内容が含まれていないかを自動で判定したい。最も適切なものはどれか。

  1. 画像の説明文を生成し、その文章をテキストのフィルターに通す
  2. 画像のコンテンツ安全性の判定（カテゴリと重大度）を使う
  3. 画像分析のタグに禁止語が含まれるかを確認する
  4. 画像のファイル名と拡張子で受け付けを判定する
答えと解説を見る

正解：B　画像のコンテンツ安全性の判定（カテゴリと重大度）を使う

画像のコンテンツ安全性の判定で、暴力・性的などのカテゴリを重大度とともに判定し、しきい値で扱いを決める。 【他の選択肢】タグや説明文は不適切さの判定に向かず見落としが出る。ファイル名では内容を判定できない。

参考リンク

レッスンは当サイトがMicrosoft Learn の公開ページをもとに独自に作成したもので、試験の内容を保証するものではありません。製品の仕様は変わることがあるため、参考リンク先の最新情報を確認してください。

ご利用上の注意（非公式・独自問題・合格保証なし）