AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

G検定 · LESSON 5

深度学习的应用案例16%（当サイト設定） · 7 个主题

学习图像识别、自然语言处理、语音处理、深度强化学习、数据生成、迁移学习与多模态，以及可解释性与轻量化。

5.1图像识别

图像识别（物体识别・目标检测・分割・姿态估计；AlexNet、VGG、GoogLeNet、ResNet、EfficientNet、R-CNN 系列、YOLO、SSD、U-Net、Mask R-CNN、Vision Transformer）

概念

图像识别的任务有：判断整幅图像类别的物体识别、用矩形表示物体位置的目标检测、为每个像素判断类别的分割（语义、实例、全景），以及估计人体关节位置的姿态估计（OpenPose 等）。识别模型从 AlexNet → VGG（堆叠 3×3 卷积）→ GoogLeNet（Inception 模块）→ ResNet（跳跃连接）→ EfficientNet（平衡扩大深度、宽度、分辨率）发展而来。检测有两阶段的 R-CNN 系列（Faster R-CNN）和单阶段的 YOLO、SSD，分割有 U-Net、Mask R-CNN，Vision Transformer 把图像分块后用 Transformer 处理。

原理、步骤

  1. 根据所需输出（类别、矩形、像素、关节）确定任务
  2. 重视速度的检测选择单阶段的 YOLO、SSD
  3. 医学图像分割常用 U-Net

工作中的示例

在工厂产线上用 YOLO 实时检测零件位置，并结合分割模型按像素显示划痕区域。

易混淆点、考试注意事项

小测验

Q1. 正在选择图像识别的任务。在自动驾驶中，希望为图像的每个像素分配“道路”“人行道”“天空”等类别，不需要逐辆区分重叠的车。属于哪种任务？

  1. 物体识别（图像分类）
  2. 实例分割
  3. 语义分割
  4. 目标检测
查看答案和解析

正确答案：C 语义分割

语义分割是像素级分类，不区分同类别的个体。（判断要点：按像素分类，不区分个体）

Q2. 正在选择图像识别的任务。希望把重叠出现的多个人按像素逐个切分为不同的区域。属于哪种任务？

  1. 物体识别（图像分类）
  2. 实例分割
  3. 语义分割
  4. 目标检测
查看答案和解析

正确答案：B 实例分割

实例分割（Mask R-CNN 等）按个体划分区域。两者统合即为全景分割。（判断要点：按像素划分每个个体的区域）

参考链接

5.2自然语言处理

自然语言处理（BoW、TF-IDF、word2vec、fastText、ELMo、BERT、GPT、LLM、GLUE）

概念

BoW（Bag of Words）用单词出现次数表示文档，TF-IDF 用文档内的频率和在全体文档中的稀有程度表示单词的重要度。word2vec 是把单词变为分布式表示（向量）的方法，有由周边词预测中心词的 CBOW 和与之相反的 Skip-gram。fastText 也利用子字符串，对未知词较强，ELMo 用双向 LSTM 获得随上下文变化的表示。BERT 是 Transformer 的编码器，用遮蔽词预测（MLM）和下一句预测进行预训练。GPT 是 Transformer 的解码器，预测下一个词，规模化后发展为 LLM。GLUE 是衡量语言理解性能的基准。

原理、步骤

  1. 整理词语表示的演进（计数 → 分布式表示 → 随上下文变化的表示）
  2. 理解 BERT（理解）与 GPT（生成）的区别
  3. 根据用途对预训练模型进行微调

工作中的示例

对 BERT 进行微调用于咨询分类，用 GPT 系列 LLM 生成 FAQ 的回答文本。

易混淆点、考试注意事项

小测验

Q1. 正在选择自然语言处理中文档或单词的表示。希望从周边单词学习像“国王−男性＋女性≈女王”那样、含义相近的单词彼此接近的稠密向量（分布式表示）。最合适的是哪项？

  1. n-gram
  2. word2vec
  3. TF-IDF
  4. BoW（Bag-of-Words）
查看答案和解析

正确答案：B word2vec

word2vec 有 CBOW 和 Skip-gram 两种。（判断要点：学习表示含义的稠密向量）

Q2. 正在选择自然语言处理中文档或单词的表示。希望以连续 N 个字符或单词的序列为单位，统计词语衔接出现的概率。最合适的是哪项？

  1. TF-IDF
  2. BoW（Bag-of-Words）
  3. n-gram
  4. word2vec
查看答案和解析

正确答案：C n-gram

n-gram 是连续 N 个的单位，一直用于语言模型和检索索引。（判断要点：连续 N 个的序列）

参考链接

5.3语音处理

语音处理（A-D 转换、PCM、FFT、MFCC、隐马尔可夫模型、WaveNet、CTC、说话人识别）

概念

语音通过麦克风采集为模拟信号，经 A-D 转换（采样、量化）变为数字信号（PCM）。用快速傅里叶变换（FFT）分解为频率成分，使用考虑了人类听觉特性的特征量 MFCC（梅尔频率倒谱系数）。传统语音识别用隐马尔可夫模型（HMM）对音素序列建模。WaveNet 是直接生成语音波形的模型，大幅提高了语音合成的质量。CTC 是学习长度不同序列之间对应关系的方法。说话人识别判定是谁在说话。

原理、步骤

  1. 理解语音数字化的流程（采样 → 量化 → 编码）
  2. 理解特征量（频谱、MFCC）的含义
  3. 区分语音识别与语音合成所用的技术

工作中的示例

把呼叫中心的录音用基于 CTC 的语音识别转为文字，并用说话人识别区分接线员与顾客的发言。

易混淆点、考试注意事项

小测验

Q1. 正在选择语音处理的技术。以由过去样本预测下一样本的形式直接生成语音波形、实现了自然语音合成的 DeepMind 模型是哪项？

  1. CTC
  2. 隐马尔可夫模型
  3. WaveNet
  4. MFCC（梅尔频率倒谱系数）
查看答案和解析

正确答案：C WaveNet

WaveNet 使用 Dilated Causal Convolution，大幅提高了语音合成的质量。（判断要点：直接生成波形）

Q2. 正在选择语音处理的技术。在深度学习普及之前的语音识别中，用于以概率建模音素状态转移的方法是哪项？

  1. 隐马尔可夫模型
  2. MFCC（梅尔频率倒谱系数）
  3. CTC
  4. WaveNet
查看答案和解析

正确答案：A 隐马尔可夫模型

隐马尔可夫模型（HMM）长期被用作声学模型。（判断要点：状态转移的概率模型）

参考链接

5.4深度强化学习

深度强化学习（DQN、Double DQN、Rainbow、A3C、PPO、AlphaGo・AlphaStar、RLHF、sim2real、离线强化学习）

概念

DQN 用深度学习近似 Q 学习的行动价值，借助经验回放（随机使用过去的经验）和目标网络使训练稳定，在 Atari 游戏中取得成果。Double DQN 抑制 Q 值的高估，Rainbow 组合了多项改进。A3C 用多个智能体异步学习，PPO 限制策略更新的幅度以保持稳定。AlphaGo（围棋）、AlphaStar（StarCraft II）是代表性成果。RLHF 用人的评价调整 LLM。sim2real 是把在模拟中学到的策略迁移到现实世界，离线强化学习是只用收集到的数据学习的方法。

原理、步骤

  1. 理解 DQN 稳定化的技巧（经验回放、目标网络）
  2. 实机试验危险或昂贵时，使用模拟和 sim2real
  3. 无法与环境交互时，考虑离线强化学习

工作中的示例

在模拟中学习机械臂的抓取，随机改变照明和摩擦（域随机化），使向实机的迁移（sim2real）更容易。

易混淆点、考试注意事项

小测验

Q1. 希望让对话 AI 的输出符合人的偏好和安全性。由人比较评价输出，据此构建奖励模型并用强化学习调整的方法是哪项？

  1. 指令微调
  2. 知识蒸馏
  3. RLHF
  4. DPO
查看答案和解析

正确答案：C RLHF

RLHF 是使 LLM 的输出符合人的偏好与安全性的方法，包括奖励模型的训练和用 PPO 等进行的优化。【其他选项】指令微调用指令与回答对进行监督学习。蒸馏转移大模型的知识。DPO 不使用奖励模型和强化学习，直接用偏好数据优化。

Q2. 在 StarCraft II 中达到顶尖玩家水平的 DeepMind 智能体是哪项？

  1. AlphaStar
  2. OpenAI Five
  3. AlphaGo Zero
  4. Agent57
查看答案和解析

正确答案：A AlphaStar

AlphaStar 还使用了多智能体强化学习等。【其他选项】Agent57 用于 Atari 的 57 款游戏，AlphaGo Zero 通过自我对弈学习围棋，OpenAI Five 用于 Dota 2。

参考链接

5.5数据生成

数据生成（GAN、DCGAN、Pix2Pix、CycleGAN、扩散模型、NeRF）

概念

GAN（生成对抗网络）让生成逼真数据的生成器与分辨真假的判别器竞争学习。DCGAN 是使用卷积的 GAN，Pix2Pix 用成对图像（线稿与照片等）学习图像转换，CycleGAN 学习两个无配对领域（马与斑马等）之间的转换。扩散模型（Diffusion Model）学习加噪过程的逆过程，从噪声生成图像。NeRF 根据多个视角的照片表示三维空间，生成新视角的图像。

原理、步骤

  1. 有成对数据用 Pix2Pix，没有则用 CycleGAN
  2. 生成高质量、多样的图像使用扩散模型
  3. 重建三维场景使用 NeRF

工作中的示例

根据白天街景照片和夜晚街景照片（非成对），为把白天照片转换为夜晚氛围而使用 CycleGAN。

易混淆点、考试注意事项

小测验

Q1. 关于 GAN（生成对抗网络）的说明，最合适的是哪项？

  1. 逆向追溯给图像加噪声的过程，一边去除噪声一边生成图像
  2. 学习把输入压缩为潜在表示再还原，用还原误差检测异常
  3. 反复由前面的单词预测下一个单词，生成文本
  4. 让生成器与判别器竞争学习，生成接近真实的数据
查看答案和解析

正确答案：D 让生成器与判别器竞争学习，生成接近真实的数据

GAN 由伊恩·古德费洛（Ian Goodfellow）等人提出。使用 CNN 的 DCGAN 使图像生成变得稳定。

Q2. 正在选择数据生成的模型。在能大量准备线稿与上色图这类对应成对图像的情况下，希望学习从线稿到上色图的转换。最合适的是哪项？

  1. Pix2Pix
  2. Diffusion Model（扩散模型）
  3. NeRF
  4. CycleGAN
查看答案和解析

正确答案：A Pix2Pix

Pix2Pix 用条件 GAN 学习成对图像的转换。

参考链接

5.6迁移学习・多模态

迁移学习・微调（Few-shot、灾难性遗忘、自监督学习）・多模态（CLIP、DALL-E、基础模型、Zero-shot）

概念

迁移学习是把已训练的模型用于其他任务的方法，微调是以已训练的权重为初始值、用新数据追加训练。Few-shot 用少数示例、Zero-shot 不用示例完成任务。灾难性遗忘是学习新任务后忘记以前知识的现象。自监督学习用从数据本身制作的问题（预测被遮住的部分等），在没有标签的情况下进行预训练。CLIP 是把图像与文本对应到同一空间的模型，DALL-E 是由文本生成图像的模型。

原理、步骤

  1. 数据较少时使用已训练模型的迁移学习
  2. 大规模无标签数据用自监督学习加以利用
  3. 连接图像与文本的用途使用 CLIP 这类模型

工作中的示例

在商品图像检索中，用 CLIP 在无需追加训练（Zero-shot）的情况下检索与“红色运动鞋”文本相近的图像。

易混淆点、考试注意事项

小测验

Q1. 关于“灾难性遗忘”的说明，最合适的是哪项？

  1. 由于训练数据中的标签错误，模型准确度逐渐下降的现象
  2. 学习新任务后，以前学过任务的性能大幅下降的现象
  3. 运行中数据趋势发生变化，模型预测准确度随时间下降的现象
  4. 学习率过大，训练途中误差急剧变大而发散的现象
查看答案和解析

正确答案：B 学习新任务后，以前学过任务的性能大幅下降的现象

容易在微调中发生。【其他选项】运行中的准确度下降是数据漂移、概念漂移。

Q2. 用大量数据预训练，通过追加调整可适应翻译、摘要、分类等多种任务的大规模模型叫什么？

  1. 多任务学习
  2. 专家系统
  3. 迁移学习
  4. 基础模型（Foundation Model）
查看答案和解析

正确答案：D 基础模型（Foundation Model）

GPT、BERT、CLIP 等是基础模型的例子。这也与用一个模型学习多个任务的多任务学习思路相关。【其他选项】多任务学习是同时学习多个任务的学习方法。迁移学习是把已学知识用于其他任务的方法，不是模型的名称。专家系统靠规则运行。

参考链接

5.7模型的可解释性・轻量化

模型的可解释性（XAI、CAM、Grad-CAM、LIME、SHAP、Permutation Importance）・模型的轻量化（蒸馏、剪枝、量化、彩票假说、边缘 AI）

概念

XAI（可解释 AI）是展示 AI 判断理由的技术。CAM、Grad-CAM 用热力图显示关注了图像的哪里，LIME 在预测周边用简单模型近似来说明，SHAP 用博弈论的沙普利值显示各特征量的贡献。Permutation Importance 用打乱特征量时性能的下降来衡量重要度。轻量化有用大模型（教师）的输出训练小模型（学生）的蒸馏、删除不需要权重的剪枝、降低权重精度的量化。彩票假说认为大网络中存在单独也能发挥高性能的小型子网络。边缘 AI 是在终端上推理的 AI。

原理、步骤

  1. 按说明的对象（图像的关注部位还是特征量的贡献）选择方法
  2. 在终端运行时，用量化、剪枝、蒸馏进行轻量化
  3. 轻量化后确认准确度的下降

工作中的示例

为在智能手机应用中运行图像分类，把模型量化为 8 位，并用 Grad-CAM 确认误分类原因所在的关注部位。

易混淆点、考试注意事项

小测验

Q1. 关于让计算机处理语音的 A-D 转换的说明，最合适的是哪项？

  1. 根据声音特征判定说话人是谁
  2. 由字符序列生成像人声一样的语音波形
  3. 把语音波形分解为各频率成分，求出包含哪些音高
  4. 以一定间隔取出模拟波形（采样），并替换为数值（量化）
查看答案和解析

正确答案：D 以一定间隔取出模拟波形（采样），并替换为数值（量化）

A-D 转换得到的数字音频的代表格式是 PCM。分解为频率是快速傅里叶变换（FFT），判定说话人是说话人识别，第二个选项是语音合成。

Q2. 特别需要可解释 AI（XAI）的场景中最合适的是哪项？

  1. 不管用户喜好、按拍摄日期排列大量图像的场景
  2. 在日历上显示公司会议室预约空闲情况的场景
  3. 贷款审查、医疗诊断辅助等需要说明判断理由的场景
  4. 随机改变游戏角色动作以增加乐趣的场景
查看答案和解析

正确答案：C 贷款审查、医疗诊断辅助等需要说明判断理由的场景

在影响重大的判断中，为说明依据、发现错误、确认公平性，需要可解释性。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）