AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

AIF-C01 · LESSON 3

基础模型的应用28% · 4 个主题

学习使用基础模型的应用设计、提示工程、训练与微调以及性能评估。

3.1使用基础模型的应用的设计考虑事项

3.1 说明使用基础模型（FM）的应用的设计考虑事项。

概念

根据成本、延迟、模态、支持的语言、上下文长度以及能否定制来选择模型。推理参数 temperature 和 top-p 控制输出的随机性，最大令牌数控制输出长度。要使用公司内部知识，使用 RAG（Bedrock 知识库和向量存储：OpenSearch Serverless、Aurora、S3 Vectors 等）；对于多步骤的工作，使用 Bedrock 代理。

原理、步骤

  1. 根据用途的要求（准确度、速度、成本、语言）选择模型
  2. 根据用途确定 temperature 等推理参数
  3. 要用公司内部数据回答，使用 RAG（知识库）
  4. 如果需要调用 API 等多个步骤，使用代理
  5. 按成本从低到高的顺序考虑定制方法（提示 → RAG → 微调 → 预训练）

工作中的示例

在公司规章问答中，把规章放到 S3 并导入 Bedrock 知识库，调低 temperature，让其附带出处进行回答。

易混淆点、考试注意事项

小测验

Q1. 关于 RAG（检索增强生成），最恰当的说明是哪一项？

  1. 把模型的回答登记到搜索引擎，使公司外部的人可以检索的方法
  2. 把同一个问题反复多次发送给模型，选择出现最多的回答作为正确答案的方法
  3. 使用公司内部文档，从零重新训练基础模型参数的方法
  4. 检索与问题相关的文档并加入提示，让模型基于其内容回答的方法
查看答案和解析

正确答案：D 检索与问题相关的文档并加入提示，让模型基于其内容回答的方法

RAG 通过检索外部知识并加入提示，使模型能够基于未训练过的最新信息或公司内部信息进行回答。

Q2. 公司内部的操作手册经常更新。与微调相比，RAG 的优点最恰当的是哪一项？

  1. 更新文档即可无需重新训练就反映到回答中，还能给出依据文档
  2. 无需检索，所以延迟比微调更小
  3. 模型会学会手册的文风，统一回答语气
  4. 输入 token 减少，单次费用下降
查看答案和解析

正确答案：A 更新文档即可无需重新训练就反映到回答中，还能给出依据文档

RAG 无需重新训练，适应信息的更新。由于可以给出引用来源，便于核实回答。它可以减少幻觉，但不能使其为零。【其他选项】RAG 需要检索，延迟可能增加。统一文风是微调的优点。放入检索结果会增加输入 token。

参考链接

3.2有效的提示工程

3.2 选择有效的提示工程技巧。

概念

提示由指令、上下文、输入数据和输出格式组成。技巧包括零样本（无示例）、少样本（给出几个示例）、思维链（Chain-of-Thought：让模型分步思考）和提示模板。也可以使用负面提示（不希望做的事）。风险包括提示注入、越狱和提示泄露。

原理、步骤

  1. 明确写出角色和目的
  2. 指定输出格式（项目符号、JSON）
  3. 对困难的任务加入少样本示例
  4. 对需要推理的问题，指示其分步思考
  5. 用防护机制防范攻击性的提示

工作中的示例

在咨询分类中，采用少样本方式在提示中放入 3 个示例（咨询与分类），提高分类准确度。

易混淆点、考试注意事项

小测验

Q1. 在聊天应用中，每次都向模型发送相同的长系统提示（公司内部规则和示例）。作为降低费用和响应时间的功能，最合适的是哪一项？

  1. 每次把系统提示发送 2 遍，让模型更严格地遵守规则
  2. 每次发送给不同的模型，只使用最快返回的回答
  3. 使用提示缓存，重复利用反复发送的相同前半部分
  4. 把温度设为最大值，让模型更快写完回答
查看答案和解析

正确答案：C 使用提示缓存，重复利用反复发送的相同前半部分

Bedrock 的提示缓存会缓存反复使用的提示的前半部分，减少输入处理的费用和响应时间。

Q2. 关于 RAG 机制的说明，不正确的是哪一项？

  1. 文档被分割，并作为嵌入保存到向量存储中
  2. 使用 RAG 时，模型参数每次都会用检索到的公司内部文档进行更新
  3. 把检索到的片段加入提示，由模型生成回答
  4. 用户的问题也会转换为嵌入，从向量存储中检索含义相近的文档片段
查看答案和解析

正确答案：B 使用 RAG 时，模型参数每次都会用检索到的公司内部文档进行更新

RAG 不会改变模型的参数，只是把检索到的信息加入提示。

参考链接

3.3基础模型的训练与微调

3.3 说明 FM 的训练和微调过程。

概念

基础模型训练的要素有预训练（用大量数据学习通用能力）、微调（用带标签的数据适应特定任务）和持续预训练（用无标签的专业领域数据扩展知识）。还有指令微调和基于人类反馈的强化学习（RLHF）。在 Bedrock 中可以通过微调、持续预训练和蒸馏创建自定义模型。

原理、步骤

  1. 先确认能否用提示或 RAG 满足要求
  2. 进行微调时，准备目标任务的输入和输出示例
  3. 要在专业术语多的领域扩展知识，考虑持续预训练
  4. 确认数据的质量、数量和偏差
  5. 使用自定义模型时可能需要预置吞吐量

工作中的示例

为了更好地处理医疗文档中的专业术语，先用无标签的医学文档进行持续预训练，再用摘要任务进行微调。

易混淆点、考试注意事项

小测验

Q1. 在 RAG 应用中，正确答案明明在文档里，回答中却经常没有包含。查看检索结果，返回的是关联性不强的长片段。接下来最恰当的做法是哪一项？

  1. 把温度设为最大值，让模型能想起更多信息
  2. 删除所有文档，改为让模型只用一般知识回答
  3. 重新审视分块的大小和方法，用测试问题确认检索结果是否改善
  4. 从零重新预训练基础模型，让它记住所有文档的内容
查看答案和解析

正确答案：C 重新审视分块的大小和方法，用测试问题确认检索结果是否改善

RAG 的质量取决于检索的质量。调整分块的大小、重叠和分割方法，评估检索结果并加以改进。

Q2. 在 Amazon Bedrock 提示管理中创建提示版本的优点，最恰当的是哪一项？

  1. 创建版本后，该提示就完全不收费
  2. 每次创建版本时，基础模型都会自动微调
  3. 创建版本后，提示会公开发布，任何人都可以使用
  4. 应用可以引用特定版本，出现问题时可以回退到以前的版本
查看答案和解析

正确答案：D 应用可以引用特定版本，出现问题时可以回退到以前的版本

在提示管理中，可以把提示的更改保存为版本，固定应用使用的版本或进行回退。

参考链接

3.4基础模型的性能评估

3.4 说明评估 FM 性能的方法。

概念

评估包括人工评估、基准数据集、自动指标（ROUGE：摘要，BLEU：翻译，BERTScore：语义相似度）以及让 LLM 担任评审的评估。Bedrock 模型评估提供自动评估、人工评估、基于 LLM 的评估以及 RAG 评估（知识库的检索与生成）。最终要根据是否满足业务目标（生产力、满意度）来判断。

原理、步骤

  1. 确定评估的目的（质量、安全性、成本、速度）
  2. 选择适合用途的指标（摘要用 ROUGE、翻译用 BLEU 等）
  3. 用有代表性的提示数据集比较多个模型
  4. 主观质量用人工评估或基于 LLM 的评估补充
  5. 用业务 KPI 确认效果

工作中的示例

针对摘要功能，用 Bedrock 模型评估比较 3 个模型，选择在 ROUGE 和人工评价两方面都最好、且成本最低的模型。

易混淆点、考试注意事项

小测验

Q1. 修改提示并发布到生产后，关于回答质量下降的报告增多。接下来最恰当的做法是哪一项？

  1. 删除提示的更改历史，当作从头重写过
  2. 回退到以前版本的提示，用测试问题评估修改方案后再重新发布
  3. 不调查问题原因，在提示中添加更多指令并观察
  4. 向用户隐瞒质量下降的情况，等待报告减少
查看答案和解析

正确答案：B 回退到以前版本的提示，用测试问题评估修改方案后再重新发布

首先回退到以前的版本以止住影响。改进方案要用评估问题比较后再发布。

Q2. 评估 RAG 应用时，在检索和生成两方面分别应确认的事项，最恰当的是哪一项？

  1. 只确认向量存储中保存的文档数量，不确认检索结果
  2. 只确认用户数量，检索和回答的质量交给用户判断
  3. 只确认回答的字数是否足够长，不确认内容是否正确
  4. 确认检索到的文档是否与问题相关，以及回答是否忠实于检索内容且正确
查看答案和解析

正确答案：D 确认检索到的文档是否与问题相关，以及回答是否忠实于检索内容且正确

在 RAG 中，要分别评估检索的质量（相关性）和生成的质量（忠实度、正确性）。Bedrock 中也可以运行 RAG 的评估。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）