AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

AI-103 · LESSON 3

实施计算机视觉解决方案10–15% · 3 个主题

学习图像和视频生成、多模态理解工作流，以及多模态内容的负责任 AI。

3.1设计和实现图像和视频生成解决方案

Design and implement image- and video-generation solutions

概念

在 Foundry 中可以使用图像生成和编辑模型（gpt-image 系列、DALL-E 系列等）以及视频生成模型（如 Sora）。通过提示指定内容、风格和构图，也可以进行编辑（修补）和基于参考图像的生成。生成内容会附带 C2PA 来源信息（内容凭据）。

原理、步骤

  1. 确定用途（广告方案、产品形象、培训视频）以及所需的分辨率和长度
  2. 在提示中具体写明主体、风格、构图和要避免的内容
  3. 通过编辑或参考图像，以现有图像为基础进行修改
  4. 由人确认生成内容，检查是否存在权利或表达问题
  5. 标明是生成内容，并保留来源信息

工作中的示例

市场部为新商品生成 10 张横幅方案，由设计师挑选一张完成。包含真实人物或标志的指示会被筛选器拒绝。

易混淆点、考试注意事项

小测验

Q1. 你希望根据商品照片（参考图像）和文字指示，生成季节性促销图像。哪种实现合适？

  1. 用图像分析提取照片的标签，按标签搜索新图像
  2. 让多模态模型描述照片，仅凭该文字生成图像
  3. 使用以文本提示和参考图像为输入的图像生成
  4. 用 Content Understanding 从照片提取特征，套用到模板中
查看答案和解析

正确答案：C 使用以文本提示和参考图像为输入的图像生成

带参考图像的图像生成可以在保留原商品特征的同时生成新图像。【其他选项】按标签搜索不是生成。仅凭描述文字无法保持商品外观。Content Understanding 用于提取，不生成图像。

Q2. 你只想替换生成图像背景的一部分。哪种方法合适？

  1. 指定蒙版的修补（inpainting）
  2. 提高生成时的图像尺寸和质量设置
  3. 更换参考图像生成图像变体
  4. 用相同提示重新生成整张图像
查看答案和解析

正确答案：A 指定蒙版的修补（inpainting）

修补只编辑蒙版范围。【其他选项】整体重新生成或生成变体无法只替换指定部分。尺寸和质量设置不指定编辑范围。

参考链接

3.2设计和实现多模态理解工作流

Design and implement multimodal understanding workflows

概念

多模态模型（如 GPT-4o 系列）可以同时输入图像和文本，理解并说明内容。Azure Content Understanding 是 Foundry 工具中的一项服务，按照定义的架构（字段）从文档、图像、音频和视频中提取信息。Azure AI Vision 提供 OCR、标记、描述等常规图像分析。

原理、步骤

  1. 确定输入类型（图像、视频、文档）和期望的输出（说明、字段提取、分类）
  2. 自由说明或问答，把图像交给多模态模型
  3. 固定项目的提取，在 Content Understanding 分析器中定义架构
  4. 常规的 OCR 和标记使用 Azure AI Vision
  5. 验证输出，置信度低的由人确认

工作中的示例

把保险事故照片和说明交给多模态模型生成损伤概要，修理报价单则用 Content Understanding 提取金额和零件。

易混淆点、考试注意事项

小测验

Q1. 你希望为网站上的图像添加符合无障碍要求的替代文本。哪种方法合适？

  1. 为所有图像附上相同的说明模板，按页面批量设置
  2. 让多模态模型描述图像，并根据要求调整长度
  3. 把图像 OCR 读取的文字原样设为替代文本
  4. 把图像分析标记提取的关键词用逗号分隔作为替代文本
查看答案和解析

正确答案：B 让多模态模型描述图像，并根据要求调整长度

多模态模型可以生成与图像相符的描述，并根据用途调整长度。【其他选项】标签罗列或 OCR 文字无法说明图像的内容和目的。同一模板无法传达每张图像的内容。

Q2. 你希望展示设备照片并提问“这个零件有损伤吗”，让模型以图像为依据回答。哪项合适？

  1. Document Intelligence 的布局分析和表格提取
  2. 基于图像嵌入的相似图像搜索
  3. 用图像分析进行物体检测和标记
  4. 用多模态模型进行以图像为依据的问答
查看答案和解析

正确答案：D 用多模态模型进行以图像为依据的问答

用可以把图像作为输入的多模态模型，实现基于视觉依据的问答。【其他选项】物体检测和标记不会针对问题判断有无损伤。布局分析面向文档，相似图像搜索不是问答。

参考链接

3.3为多模态内容实施负责任 AI

Implement responsible AI for multimodal content

概念

在处理图像和视频的 AI 中，重要的是同时应对有害图像的生成和输入、处理人脸等敏感信息，以及标明生成内容的来源。要结合内容筛选器（图像输入输出）、Azure AI Content Safety 的图像审核、受限功能（如人脸识别）的使用申请以及 C2PA 来源信息。

原理、步骤

  1. 对图像的输入和输出都设置筛选器
  2. 用 Content Safety 审查用户上传的图像
  3. 对于人脸识别等受限功能，确认使用要求和申请
  4. 在生成内容上标明由 AI 生成，并保留来源信息
  5. 定期检查误检和漏检，调整阈值

工作中的示例

在用户发布图像的论坛中，用 Content Safety 自动搁置暴力或色情图像，边界案例由负责人判断。

易混淆点、考试注意事项

小测验

Q1. 你希望自动分类不安全或被禁止的图像内容。哪项合适？

  1. 根据图像生成替代文本
  2. 用图像嵌入搜索与禁止图像的相似度
  3. 面向多模态内容的安全筛选器
  4. 图像分析的标记和物体检测
查看答案和解析

正确答案：C 面向多模态内容的安全筛选器

对视觉内容也应用安全筛选器进行分类和阻止。【其他选项】标记和替代文本是描述内容，不是安全分类。相似度搜索无法判定禁止内容的类别。

Q2. 你希望自动判定用户上传的图像中是否包含不当内容。最合适的是什么？

  1. 生成图像说明，再把文字通过文本筛选器
  2. 使用图像的内容安全判定（类别和严重级别）
  3. 确认图像分析的标签中是否包含禁止词
  4. 按图像的文件名和扩展名决定是否受理
查看答案和解析

正确答案：B 使用图像的内容安全判定（类别和严重级别）

图像的内容安全判定会按严重级别判定暴力、色情等类别，并按阈值决定处理方式。【其他选项】标签和说明不适合判定是否不当，会有遗漏。文件名无法判定内容。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）