生成AIパスポート · LESSON 2
第 2 章 生成式 AI19%（当サイト設定） · 6 个主题
学习支撑生成式 AI 的技术、训练与推理的过程、大语言模型的基础、主要模型的动向以及各种模态的生成式 AI。
2.1支撑生成式 AI 的技术革新
支撑生成式 AI 的技术革新（Transformer 以后、扩散模型、基础模型与多模态）
概念
2017 年的 Transformer 用 Attention（注意力机制）并行计算句中词与词之间的关系，成为大语言模型的基础。扩散模型从噪声中一点点还原图像，是图像生成的主流。基础模型是用大量数据预训练、能适应各种任务的大规模模型；多模态是指能处理文本、图像、音频等多种数据。
原理、步骤
- 文本生成用基于 Transformer 的大语言模型
- 图像生成以扩散模型为主流
- 同时处理图像和文本时用多模态模型
工作中的示例
拍下会议白板的照片，请多模态生成式 AI 总结内容并提取待办事项。
易混淆点、考试注意事项
- Transformer 的核心是 Attention（不是 RNN 那样的逐步处理）
- 扩散模型是与 GAN 不同的生成方式
- 基础模型不是特定任务专用的
小测验
Q1. 关于 Transformer 的自注意力机制（Self-Attention）的说明，最合适的是哪项？
- 用 Query、Key、Value 计算句中每个令牌应在多大程度上关注其他各个令牌的机制
- 从句首逐个令牌依次读取，把前一时刻的状态传给下一步计算的机制
- 由另一个模型给生成的文章打分，只输出符合标准的文章的机制
- 在输入上滑动小滤波器，只提取相邻令牌局部特征的机制
查看答案和解析
正确答案：A 用 Query、Key、Value 计算句中每个令牌应在多大程度上关注其他各个令牌的机制
自注意力计算令牌之间关联的强弱，也能捕捉相隔较远的词之间的关系。按顺序读取的是 RNN，滤波器是 CNN。
Q2. 关于扩散模型（Diffusion Model）生成图像的机制，最合适的是哪项？
- 让生成器与判别器竞争，生成判别器无法区分的图像
- 从大量图像中检索相似图像并拼贴，以此生成新图像
- 登记人画的线稿规则，按规则绘制图像
- 学习给图像添加噪声的过程，再反过来一点点去除噪声来生成图像
查看答案和解析
正确答案：D 学习给图像添加噪声的过程，再反过来一点点去除噪声来生成图像
扩散模型使用扩散过程（添加噪声）和逆扩散过程（去除噪声）。潜在扩散模型在压缩的潜在空间中处理以减少计算量。
参考链接
2.2生成式 AI 的训练过程
生成式 AI 的训练过程（预训练、微调、RLHF、规模定律）
概念
大语言模型先用大量文本进行预测下一个词的预训练，再针对特定用途进行微调，并通过以人的评价为奖励的强化学习（RLHF）调整为有用且安全的回应。规模定律是指模型参数量、数据量和计算量越大性能越好的经验法则。
原理、步骤
- 通过预训练获得通用的语言能力
- 通过微调适应特定任务或格式
- 通过 RLHF 使回应符合人的偏好和安全性
工作中的示例
为了公司内部咨询应对，用本公司的问答示例对通用大语言模型进行微调，统一回答格式。
易混淆点、考试注意事项
- RLHF 中的“HF”是 Human Feedback（人的反馈）
- 规模定律是趋势性的经验法则，并非“越大一定越好”
- 微调不是重新进行预训练
小测验
Q1. 「增加参数量、数据量和计算量，性能会以可预测方式提升」这一经验法则称为什么？
- 摩尔定律
- 过拟合
- 涌现能力
- 缩放定律
查看答案和解析
正确答案：D 缩放定律
缩放定律成为推进大规模化的依据。规模扩大时突然出现的能力称为涌现能力。【其他选项】涌现能力是规模扩大时突然出现的能力。过拟合是过度贴合训练数据。摩尔定律是关于芯片集成度的经验法则。
Q2. 关于生成式 AI 训练的叙述，不合适的是哪项？
- 进行 RLHF 后，模型就完全不会产生幻觉
- 如果训练数据有偏差，输出中也可能出现偏见
- 微调是针对特定用途或领域进行的追加训练
- 预训练是用大量文本学习下一个令牌预测
查看答案和解析
正确答案：A 进行 RLHF 后，模型就完全不会产生幻觉
RLHF 能让回应朝理想方向靠近，但不能完全消除幻觉。始终需要确认输出。
参考链接
2.3生成式 AI 的推理过程
生成式 AI 的生成（推理）过程（分词、嵌入、下一令牌预测、幻觉、Temperature 与 Top-p、上下文窗口）
概念
输入的文本被切分为令牌（词或字符的片段），并转换为嵌入（向量）。大语言模型预测下一个令牌的概率，逐个选择来生成文本。Temperature 和 Top-p 调整选择的随机性，低则输出一致，高则输出多样。上下文窗口是一次能处理的令牌量。幻觉是输出貌似合理却与事实不符的内容。
原理、步骤
- 在重视准确性的用途中把 Temperature 调低
- 确认长文档能否放入上下文窗口
- 需要确认事实的内容，要用出处加以佐证
工作中的示例
总结会议纪要时调低 Temperature 以忠实于内容，构思宣传语时调高以得到多样方案。
易混淆点、考试注意事项
- 即使降低 Temperature，幻觉也不会消失
- 日语比英语更容易产生较多的令牌
- 大语言模型不是“理解含义后检索”，而是按概率预测下一个令牌
小测验
Q1. 生成式 AI 产生幻觉的主要原因，最合适的是哪项？
- 因为用户输入过长时，模型会忽略输入并返回固定的句子
- 因为它不是检索事实来回答，而是按概率预测看似合理的下一个令牌来生成文章
- 因为一般认为它总是参考互联网上的最新信息，连错误信息也一并吸收
- 因为把 Temperature 设为 0 时，一定会输出与事实不符的内容
查看答案和解析
正确答案：B 因为它不是检索事实来回答，而是按概率预测看似合理的下一个令牌来生成文章
LLM 通过预测下一个令牌生成文章，因此即使没有依据，也可能输出看似合理的内容。用一手信息确认和 RAG 是对策。
Q2. 关于分词（令牌化）的说明，最合适的是哪项？
- 总结文章内容，只保留重要的句子
- 把文章中的个人信息替换为符号，进行匿名化
- 对文章加密，即使泄露也无法读取，从而防止信息泄露
- 把文章拆分为模型处理的单位（单词、子词等）
查看答案和解析
正确答案：D 把文章拆分为模型处理的单位（单词、子词等）
LLM 以令牌为单位处理输入并预测下一个令牌。费用和上限（上下文窗口）也多按令牌数计算。
参考链接
2.4大语言模型的基础
大语言模型的基础（LM 与 LLM、本地部署／开源大语言模型）
概念
语言模型（LM）是处理词序列概率的模型，将参数量和训练数据大规模化后就是大语言模型（LLM）。除了通过云端 API 使用的大语言模型，还可以选择在本公司服务器（本地部署）或本公司云环境中运行公开了权重的开放模型（开源、开放权重）。
原理、步骤
- 确认数据的机密性、成本、性能和运维体制
- 需要便捷和高性能时用云端 API
- 数据不能外传时，考虑在本公司环境中运行开放模型
工作中的示例
处理机密设计文件的部门在公司内部服务器上运行开放模型，一般文档撰写则使用云端生成式 AI 服务。
易混淆点、考试注意事项
- 在本公司运行开放模型需要 GPU 等计算资源和运维体制
- 开放模型也有许可条件
- 大语言模型的“大规模”指参数量、数据量和计算量之大
小测验
Q1. 在大语言模型中，扩大规模后，小模型做不到的任务突然能够完成的现象叫什么？
- 涌现能力
- 幻觉
- 过拟合
- 梯度消失
查看答案和解析
正确答案：A 涌现能力
涌现能力是指超过一定规模后，出现推理、理解指示等能力的现象。
Q2. 关于语言模型（LM）与大语言模型（LLM）的关系，最合适的是哪项？
- LLM 是把参数量和训练数据规模扩大的语言模型，能完成广泛的任务
- LM 是处理图像的模型，LLM 是处理文本的模型
- LLM 是与语言模型不同的机制，不处理文本的概率
- 二者的区别在于 LM 在云端运行，LLM 在本地部署运行
查看答案和解析
正确答案：A LLM 是把参数量和训练数据规模扩大的语言模型，能完成广泛的任务
语言模型是处理文本出现概率的模型，将其大规模化的就是 LLM。规模扩大后，它具备了通用能力。
参考链接
2.5主要生成式 AI 模型的动向
ChatGPT 与主要生成式 AI 模型的动向（推理模型、Gemini、Claude、Copilot）
概念
主要服务有 OpenAI 的 ChatGPT、Google 的 Gemini、Anthropic 的 Claude、Microsoft 的 Copilot 等。近年出现了在回答前分步思考的推理模型，在数学、编程等复杂问题上的性能有所提升。各服务在与搜索的联动、文件分析、代理功能等方面擅长的领域和可联动的产品各不相同。
原理、步骤
- 确认与业务所用工具（Microsoft 365、Google Workspace 等）的联动
- 需要复杂分析或推理时使用推理模型
- 确认数据处理条件（是否用于训练、保存期限）
工作中的示例
复杂预算计算的核对交给推理模型，日常邮件草稿则使用高速模型，分别使用。
易混淆点、考试注意事项
- 推理模型需要思考时间，有时响应慢、费用高
- 服务的名称和功能经常变化，要确认最新信息
- 免费版和企业版对数据的处理有时不同
小测验
Q1. 要用生成式 AI 做数学证明和排查程序缺陷原因。选择推理模型的最佳理由是哪项？
- 训练数据更新，能基于最新信息回答
- 回答前在推理时投入更多计算，分步思考以提高精度
- 不使用外部工具也能保证计算结果正确
- 回答所需时间和费用比普通模型少
查看答案和解析
正确答案：B 回答前在推理时投入更多计算，分步思考以提高精度
推理模型像思维链（Chain-of-Thought）那样按步骤思考，因此回答所需的时间和费用也容易增加。【其他选项】推理模型往往更耗时、费用更高。数据新旧是另一特性。它不保证计算正确。
Q2. 关于 ChatGPT 等生成式 AI 服务的叙述，不合适的是哪项？
- 有像推理模型那样把计算用于思考过程以提高精度的模型
- 除文本外还能处理图像、音频的多模态模型在增加
- 提供编写代码或操作浏览器的代理功能
- 模型发布后不会变化，学过一次就无需追踪最新信息
查看答案和解析
正确答案：D 模型发布后不会变化，学过一次就无需追踪最新信息
生成式 AI 的模型和服务变化很快，需要持续收集信息。考试大纲也每年修订。【其他选项】其他三项正确。生成式 AI 的模型和服务变化很快，需要持续收集信息。
参考链接
2.6各种模态的生成式 AI
各种模态的生成式 AI（图像、音乐、语音、视频，C2PA 与数字水印）
概念
生成式 AI 不仅能生成文本，还能生成图像、音乐、语音和视频。表明生成物来源的技术有 C2PA（记录内容来源与真实性的技术标准）和数字水印（嵌入不可见信息的技术）。语音生成也可能被滥用于冒充和诈骗，需要注意。
原理、步骤
- 选择适合用途的模态的生成式 AI
- 确认生成物的权利和使用条款
- 恰当地附上来源信息和 AI 生成的标注
工作中的示例
宣传部门用生成式 AI 制作新产品的形象图，保留 C2PA 来源信息公开，并注明由 AI 生成。
易混淆点、考试注意事项
- C2PA 是来源记录，并不保证内容正确
- 数字水印有时会因编辑而消失
- 生成真实人物的声音或面貌存在法律和伦理风险
小测验
Q1. 关于多模态模型的说明，最合适的是哪项？
- 能处理文本、图像、音频等多种类型（模态）数据的模型
- 只专门用于多种语言之间翻译的模型
- 由多家企业共同拥有、分摊使用费的模型
- 指依次调用多个小模型、用多数表决决定结果的模型
查看答案和解析
正确答案：A 能处理文本、图像、音频等多种类型（模态）数据的模型
多模态模型可以跨模态处理，例如看图说明、听音频后总结。
Q2. 关于嵌入（Embedding）的说明，最合适的是哪项？
- 在提示中嵌入用来指定输出格式的示例
- 为了在网页上显示 AI 的回答而嵌入 HTML 的组件
- 把令牌或文章转换为反映语义远近的数值向量
- 以不可见的形式在图像中加入表明是用生成式 AI 制作的信息
查看答案和解析
正确答案：C 把令牌或文章转换为反映语义远近的数值向量
在嵌入中，含义越接近的文章，向量也越接近。用于 RAG 的语义检索。在图像中加入信息的是数字水印。
参考链接
课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。
使用须知（非官方、原创题目、不保证合格）
- 本站题目是根据官方公开的技能大纲和考试指南独立编写的原创练习题，并非真实考试题目。
- 本站与 GUGA、JDLA 等考试主办机构无合作关系，也未获得其认可或推荐。考试名称和机构名称可能是各权利人的商标或注册商标。
- 本内容仅为学习辅助，不保证考试合格。考试内容、形式和前提条件可能随时变更，参加考试前请务必在官方页面确认最新信息。
- 模拟考试的正确率无法换算为官方（换算）分数，也不能预测是否合格。
- 进度仅保存在本浏览器（localStorage）中；使用 Google 登录后才会同步到账号。可在“Cookie 与存储设置”页面（日语）中删除。