GAIL · LESSON 3
第 3 部分：改进生成式 AI 模型输出的方法約20% · 5 个主题
学习基础模型的局限与对策、持续监控与评估、提示技法、接地以及采样参数。
3.1基础模型的局限与对策
基础模型的局限（对数据的依赖、知识截止、偏见、公平性、幻觉、边缘情况）与对策（接地、RAG、提示工程、微调、Human in the Loop）
概念
基础模型存在对训练数据的依赖、知识截止（不知道训练之后的信息）、偏见与公平性问题、幻觉，以及对罕见情况（边缘情况）较弱等局限。对策包括接地（关联到可信的信息源）、RAG、提示工程、微调和 Human in the Loop（人工确认）。
原理、步骤
- 确定在用例中哪些局限会成为问题
- 需要最新或内部信息时使用接地或 RAG
- 对影响大的判断加入人工确认
工作中的示例
在回答最新资费方案的聊天中，为避免知识截止问题，以资费表数据接地并显示出处。
易混淆点、考试注意事项
- 微调不适合追加最新事实（适合用 RAG）
- 幻觉无法完全消除
- Human in the Loop 是在关键点由人判断，而非逐条确认
小测验
Q1. 在回答公司内部规定的聊天中，希望用户能核实回答的依据。最合适的方法是哪项？
- 用公司内部规定文档进行接地，并在回答中标明出处
- 用规定文档微调模型，让模型记住内容
- 降低 temperature，减小回答的波动
- 启用 Grounding with Google Search，用网络信息补充回答
查看答案和解析
正确答案：A 用公司内部规定文档进行接地，并在回答中标明出处
接地给出输出的依据，减少幻觉。【其他选项】微调不会标明出处，也难以应对规定的更新。Google 搜索不覆盖公司内部规定。temperature 是输出稳定性的设置，不提供依据。
Q2. 应对基础模型“偏见”局限的对策，最合适的是哪项？
- 从多种角度评估，若有偏差则重新审视数据和运营
- 模型是中立的，因此无需确认偏差
- 偏见与训练数据无关，因此不确认数据
- 把有偏见的输出隐藏起来，不让用户察觉
查看答案和解析
正确答案：A 从多种角度评估，若有偏差则重新审视数据和运营
偏见源于训练数据的偏差等，需要持续评估。
参考链接
3.2持续监控与评估
持续监控与评估（模型自动升级、KPI、安全补丁、版本管理、性能追踪、漂移监控、Feature Store）
概念
生成式 AI 在生产中也要持续监控和评估：关注模型自动升级带来的行为变化、KPI、安全补丁、版本管理（固定所用模型的版本）、性能追踪，以及漂移（输入或输出趋势的变化）的监控。Feature Store 统一管理 ML 的特征，使训练与推理使用相同的特征。
原理、步骤
- 确定业务 KPI 和质量指标并加以追踪
- 管理模型版本，更新前进行评估
- 监控漂移，必要时重新评估・重新训练
工作中的示例
模型新版本发布时，用评估数据与旧版本比较，确认质量没有下降后再切换。
易混淆点、考试注意事项
- 自动升级可能改变输出倾向
- 仅靠发布前的评估无法察觉生产中的变化
- Feature Store 是确保特征一致性的机制
小测验
Q1. 生成式 AI 模型“持续监控”中应追踪的指标例子，最合适的是哪项？
- 模型名称的长度与标志的颜色
- 员工的通勤时间与到岗天数
- 数据中心建筑的建成年数
- 回答的准确性、满意度、响应时间
查看答案和解析
正确答案：D 回答的准确性、满意度、响应时间
确定 KPI 追踪性能，检测漂移和劣化。
Q2. 生成式 AI 模型“版本管理”重要的理由，最合适的是哪项？
- 版本管理只在图像生成中需要
- 模型更新会改变输出，因此要记录版本以便比较和回滚
- 版本号越大，费用必然越便宜
- 固定版本后会自动应用安全更新
查看答案和解析
正确答案：B 模型更新会改变输出，因此要记录版本以便比较和回滚
选择自动升级模型还是固定版本，也是运营上的判断。
参考链接
3.3提示技法
提示技法（Zero-shot・One-shot・Few-shot、角色提示、提示链、Chain-of-Thought、ReAct）
概念
Zero-shot 不给示例，One-shot 给 1 个，Few-shot 给多个示例。角色提示为模型赋予角色，提示链依次执行多个提示并连接结果，Chain-of-Thought 让模型分步骤思考。ReAct 交替进行推理（Reasoning）与行动（Acting：使用工具），是智能体的基础。
原理、步骤
- 简单任务先从 Zero-shot 试起
- 希望统一输出格式时给出 Few-shot 示例
- 复杂工作用提示链分成多个阶段
- 边使用工具边思考的任务用 ReAct
工作中的示例
把报告撰写分为①数据摘要 → ②课题提取 → ③提案撰写的提示链，使每个阶段的输出都可确认。
易混淆点、考试注意事项
- Few-shot 不会重新训练模型
- ReAct 交替进行思考与工具使用
- 仅靠角色提示并不能保证专业性和准确性
小测验
Q1. 希望统一咨询分类的输出格式。提示必须保持简短，且只能准备 1 个典型示例。最合适的方法是哪项？
- 提示链（依次执行多个提示）
- Zero-shot 提示（不给示例，只给指示）
- Few-shot 提示（给出多个示例）
- One-shot 提示（给出 1 个示例）
查看答案和解析
正确答案：D One-shot 提示（给出 1 个示例）
Zero-shot（0 例）、One-shot（1 例）、Few-shot（多例）。【其他选项】Zero-shot 没有示例，格式难以统一。Few-shot 需要多个示例，但只能准备 1 个。提示链是拆分步骤的方法，不起示范格式的作用。
Q2. Chain-of-Thought 特别有效的任务，最合适的是哪项？
- 把图像颜色调亮的处理
- 写一句问候语
- 只翻译一个单词
- 需要分步推理的问题
查看答案和解析
正确答案：D 需要分步推理的问题
分步推理可提高复杂问题的准确性。
参考链接
3.4接地
接地（自家数据・第三方数据・世界数据、RAG、Agent Search、RAG API、使用 Google 搜索接地）
概念
接地是把模型的回答与可验证的信息源关联起来。信息源包括自家数据（内部文档・数据库）、第三方数据和世界数据（网络）。在 Google Cloud 中，可以使用 RAG、Agent Search、RAG API 以及使用 Google 搜索接地（基于最新网络信息的回答）。
原理、步骤
- 确定应作为回答依据的信息源
- 内部信息用 RAG 或 Agent Search 接地
- 最新的一般信息使用 Google 搜索接地
- 显示出处，让用户可以确认
工作中的示例
内部规章的问题以内部文档接地，行业最新新闻的问题以 Google 搜索接地，并分别给出出处。
易混淆点、考试注意事项
- 使用 Google 搜索接地不能用于内部非公开信息
- 即使接地，幻觉也不会降为零
- 信息源的质量决定回答的质量
小测验
Q1. 关于 RAG（检索增强生成）的机制，正确的是哪项？
- 把模型回答登记到搜索引擎，供其他用户查看
- 把问题转换为图像，直接返回图像检索结果
- 检索相关信息并加入提示，再生成回答
- 事先让模型学习所有问题的答案，完全不检索
查看答案和解析
正确答案：C 检索相关信息并加入提示，再生成回答
RAG 无需重新训练模型，即可把最新信息和内部信息反映到回答中。
Q2. RAG 比微调更合适的场景，最合适的是哪项？
- 希望把模型语气固定为特定角色的说话方式
- 希望用大量示例提高专业领域分类任务的准确度
- 希望让模型深度掌握特定的输出格式
- 希望基于频繁更新的内部信息给出有依据的回答
查看答案和解析
正确答案：D 希望基于频繁更新的内部信息给出有依据的回答
信息更新・出处提示用 RAG，格式・文风・任务的适应用调优。
参考链接
3.5采样参数
采样参数（词元数、temperature、top-p、安全设置、输出长度）
概念
采样参数用于调整输出。temperature 决定输出的随机性（低则一致，高则多样），top-p 决定按累计概率从高概率候选中选择的范围，输出词元数（最大长度）控制输出的长度和费用。安全设置决定对有害类别内容的拦截程度。
原理、步骤
- 基于事实的回答和分类降低 temperature
- 构思创意时把 temperature 调高一些
- 用最大词元数控制长度和费用
- 根据用途调整安全设置的阈值
工作中的示例
FAQ 回答把 temperature 设为 0.2 以保持稳定，活动名称构思设为 0.9 以给出多样的方案。
易混淆点、考试注意事项
- 降低 temperature 并不能保证事实准确
- 最大词元数太小会使回答中途截断
- 安全设置放得太宽会提高有害输出的风险
小测验
Q1. 使用公司内部文档的 RAG 聊天，给出了基于已废止旧规定的回答。对原因的说明，最合适的是哪项？
- 回答的准确性取决于模型大小，检索结果的质量没有影响
- 检索取出的文档的内容与新旧程度，决定了生成回答的准确性
- temperature 高时会忽略检索结果，而根据预训练知识回答
- 在 RAG 中模型优先使用预训练知识，取出的文档只作补充
查看答案和解析
正确答案：B 检索取出的文档的内容与新旧程度，决定了生成回答的准确性
若检索出旧文档或无关文档，回答就会出错。【其他选项】在 RAG 中，取出的文档是回答的依据。temperature 是输出多样性的设置，不会让模型忽略检索结果。检索结果的质量直接影响回答。
Q2. 在产品说明文中，既要避免混入概率低的不自然词语，又希望保留一定的表达多样性。应调整的设置，最合适的是哪项？
- 收紧安全设置，拦截不当词语的输出
- 降低 top-p，从累积概率高的候选中选择下一个词
- 降低输出词元数上限，缩短文本以减少不自然的词语
- 提高 temperature，从更多样的候选中选择下一个词
查看答案和解析
正确答案：B 降低 top-p，从累积概率高的候选中选择下一个词
top-p 越小候选越少，输出越保守。【其他选项】词元上限是长度的设置。安全设置控制有害类别。提高 temperature 会使低概率词更容易被选中。
参考链接
课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。
使用须知（非官方、原创题目、不保证合格）
- 本站题目是根据官方公开的技能大纲和考试指南独立编写的原创练习题，并非真实考试题目。
- Google Cloud、Gemini、Vertex AI、Google Workspace 是 Google LLC 的商标。本站与 Google 无合作关系，也未获得 Google 的认可或推荐。
- 本内容仅为学习辅助，不保证考试合格。考试内容、形式和前提条件可能随时变更，参加考试前请务必在官方页面确认最新信息。
- 模拟考试的正确率无法换算为官方（换算）分数，也不能预测是否合格。
- 进度仅保存在本浏览器（localStorage）中；使用 Google 登录后才会同步到账号。可在“Cookie 与存储设置”页面（日语）中删除。