AIP-C01 · LESSON 1

基础模型集成、数据管理与合规31% · 6 个主题

学习需求分析与设计、基础模型的选择与配置、数据验证与处理、向量存储、检索机制,以及提示策略与治理。

1.1分析需求并设计 GenAI 解决方案

1.1 分析需求并设计 GenAI 解决方案。

概念

设计时,要根据业务目标、用户、准确度、延迟、成本、数据敏感性和法规要求,选择架构(仅提示、RAG、代理、微调)。AWS Well-Architected 生成式 AI 透镜从六大支柱的视角,为生成式 AI 工作负载的设计提供指南。先通过概念验证(PoC)确认可行性,再进入生产。

原理、步骤

  1. 确定用例和成功指标
  2. 梳理所需的知识(内部数据)和操作(工具)
  3. 从提示、RAG、代理、微调中选择架构
  4. 用生成式 AI 透镜确认风险
  5. 在 PoC 中测量质量和成本

工作中的示例

把公司内部的采购咨询窗口设计为:以规章的 RAG 为基础、把订货系统的 API 作为工具调用的代理,并通过为期两周的 PoC 测量回答的准确度。

易混淆点、考试注意事项

小测验

Q1. 管理层希望在 2 周内判断“能否用生成式 AI 实现咨询处理自动化”。最合适的推进方式是哪项?

  1. 先把生产规模的基础设施和运维机制全部建好,完成后才确认质量和费用是否足够
  2. 用代表性的咨询数据制作使用 Bedrock 多个模型的 PoC,测量质量、延迟和费用后判断
  3. 只对公司内部人员进行访谈,不试用模型,仅在纸面上判断能否实现
  4. 选定一个最有名的模型签约,不做 PoC,直接接入全公司的咨询窗口
查看答案和解析

正确答案:B 用代表性的咨询数据制作使用 Bedrock 多个模型的 PoC,测量质量、延迟和费用后判断

正式构建之前,先用代表性数据制作小型 PoC,确认可行性、性能和业务价值。

Q2. 多个团队各自开发生成式 AI 应用,设计质量参差不齐。统一设计最合适的方法是哪项?

  1. 用 Well-Architected 生成式 AI 透镜评审设计,并把通用组件(提示模板、防护机制、日志)标准化
  2. 让所有团队复制最早开发的应用代码,即使要求不同也采用相同架构
  3. 不编写设计文档,只在每周会议上由各团队负责人口头说明
  4. 让各团队自由设计,只在出问题后单独重做有问题的应用
查看答案和解析

正确答案:A 用 Well-Architected 生成式 AI 透镜评审设计,并把通用组件(提示模板、防护机制、日志)标准化

用 Well-Architected Tool 的生成式 AI 透镜评估设计并标准化通用组件,可使各团队的质量一致。

参考链接

1.2选择并配置基础模型

1.2 选择并配置 FM。

概念

Bedrock 的模型要按能力(推理、多模态、代码)、上下文长度、延迟、成本和区域可用性来选择。Converse API 是屏蔽模型差异的统一 API,可以处理工具使用和多轮对话。跨区域推理(推理配置文件)会把推理分散到多个区域,以提高吞吐量。

原理、步骤

  1. 用评估提示比较候选模型
  2. 用 Converse API 实现,便于切换模型
  3. 设置推理参数(temperature、top-p、最大令牌数、停止序列)
  4. 吞吐量不足时使用跨区域推理
  5. 管理模型的停止提供(生命周期)

工作中的示例

由于高峰时出现限流,切换到跨区域推理配置文件,把推理分散到多个区域。

易混淆点、考试注意事项

小测验

Q1. 希望让 FM 一次读完超过 100 页的合同,找出条款之间的矛盾。选择 FM 时最先应确认的是哪项?

  1. 模型提供商是否在日本设有办事处
  2. 模型输出的文字颜色和字体能否按应用界面设计更改
  3. 文档、指令和输出能否容纳在模型的最大上下文长度内
  4. 模型名称是否好记、便于向公司内部用户说明
查看答案和解析

正确答案:C 文档、指令和输出能否容纳在模型的最大上下文长度内

要一次处理长文档,输入和输出的总和必须在模型的上下文长度之内。放不下则考虑拆分或 RAG。

Q2. 要开发一个应用:用户发送设备照片和问题文本,应用回答可能的故障原因。最合适的实现是哪项?

  1. 选择不支持图像输入的模型,把图像数据转换为字符串粘贴到提示中
  2. 只在文本中写图像的文件名,让模型根据文件名推测内容
  3. 把图像打印出来,由负责人将内容写成文字,只把这段文字发送给仅支持文本的模型
  4. 选择支持图像输入的模型,在 Converse API 的消息中同时放入图像和文本发送
查看答案和解析

正确答案:D 选择支持图像输入的模型,在 Converse API 的消息中同时放入图像和文本发送

多模态模型可以在 Converse API 的消息中同时处理图像和文本。

参考链接

1.3实现数据验证与处理流水线

1.3 实现供 FM 使用的数据验证与处理流水线。

概念

传给模型的数据,要先进行格式验证、个人信息的检测与屏蔽(Comprehend、Macie、护栏)、去除重复和低质量文档、文档解析(Textract、Bedrock Data Automation、知识库解析器),然后再使用。用 Lambda、Step Functions、Glue 把处理流水线化。

原理、步骤

  1. 验证输入数据的格式和模式
  2. 检测个人信息,并按需屏蔽
  3. 把 PDF 和图片文档解析为保留表格和版式的文本
  4. 去除重复和过时的文档
  5. 用 Step Functions 自动化处理,并对失败进行重试

工作中的示例

用 Bedrock Data Automation 解析合同 PDF 并保留表格,用 Comprehend 屏蔽人名后再导入知识库。

易混淆点、考试注意事项

小测验

Q1. 在财务分析中,希望回答需要多步计算和推敲的难题。响应时间稍长也可以。模型的选择最合适的是哪项?

  1. 使用具备推理(reasoning)能力的模型,并设定思考量的上限
  2. 把推理模型用于包括简单问题在内的所有处理
  3. 用财务数据微调大模型后使用
  4. 给快速便宜的模型加上 Chain-of-Thought 指示来使用
查看答案和解析

正确答案:A 使用具备推理(reasoning)能力的模型,并设定思考量的上限

推理模型通过逐步思考提高难题的准确度,但令牌和延迟会增加。只用于困难的处理并设定上限。【其他选项】Chain-of-Thought 指示有帮助,但多步骤分析更适合推理模型。连简单问题也用会增加费用和延迟。微调增加的是知识,不是推理能力。

Q2. 想用的模型在东京区域不提供,但可以通过日本地理范围的跨区域推理配置文件使用。使用前应确认的是哪项?

  1. 使用配置文件后,所有数据会自动保存在东京区域
  2. 分配目标区域的天气和数据中心建筑的大小
  3. 只确认配置文件的名称是否符合公司内部命名规则
  4. 在请求被分配到的区域中处理,是否符合公司的数据所在地规定
查看答案和解析

正确答案:D 在请求被分配到的区域中处理,是否符合公司的数据所在地规定

使用跨区域推理时,请求会在配置文件覆盖的区域中处理。需确认是否符合数据所在地的要求。

参考链接

1.4设计并实现向量存储

1.4 设计并实现向量存储解决方案。

概念

向量存储是保存嵌入向量并进行相似度搜索的机制。在 AWS 上可以使用 OpenSearch Serverless、OpenSearch Service(混合搜索、高性能)、Aurora PostgreSQL(pgvector)、Neptune Analytics(GraphRAG)、Amazon S3 Vectors(低成本保存大规模向量)等。需要设计嵌入模型与向量维度、元数据过滤器以及索引方式(如 HNSW)。

原理、步骤

  1. 确认数据量、搜索频率、延迟和成本的要求
  2. 选择符合要求的向量存储
  3. 确定嵌入模型,并设置维度和索引
  4. 附加元数据(部门、日期、权限),以便用过滤器缩小范围
  5. 更换嵌入模型时重新建立索引

工作中的示例

对于搜索频率低但需要保存数十亿条向量的数据使用 S3 Vectors,频繁搜索的最新文档则放在 OpenSearch Serverless 中。

易混淆点、考试注意事项

小测验

Q1. 希望在嵌入之前整理写法各异的商谈记录。最合适的方法是哪项?

  1. 直接导入笔记,缩小分块大小来提高检索精度
  2. 换用更大的多语言嵌入模型,吸收写法的差异
  3. 启用混合检索,用关键词匹配弥补写法的差异
  4. 用 Lambda 或 Bedrock 统一日期、金额和产品名称的写法,整理为固定格式后导入
查看答案和解析

正确答案:D 用 Lambda 或 Bedrock 统一日期、金额和产品名称的写法,整理为固定格式后导入

输入质量决定响应质量。通过规范化、重新整形和实体提取,统一传给 FM 的数据。【其他选项】分块大小、嵌入模型或混合检索都不能修正日期和金额写法本身的不一致。规范化输入能同时提高检索和生成的质量。

Q2. 希望只以“面向制造业客户的近 1 年提案书”为依据。最合适的设计是哪项?

  1. 按行业分别开发应用,让销售负责人选择正确的应用
  2. 为提案书添加行业、创建日期、作者元数据,并在检索中使用元数据过滤
  3. 从所有提案书中检索,让模型忽略旧的
  4. 在提案书文件名中写上行业,在提示中指示模型根据文件名正确选择
查看答案和解析

正确答案:B 为提案书添加行业、创建日期、作者元数据,并在检索中使用元数据过滤

添加元数据(日期、作者、分类)并用作检索过滤,可提高检索精度和上下文质量。

参考链接

1.5设计用于增强 FM 的检索机制

1.5 设计用于增强 FM 的检索机制。

概念

RAG 的检索质量取决于分块(固定长度、分层、语义、不分块)、检索方式(语义、混合)、重排序(重排序模型)、查询分解与改写以及检索条数。Bedrock 知识库可以配置这些内容,并提供 Retrieve(仅检索)和 RetrieveAndGenerate(检索与生成)API。

原理、步骤

  1. 选择符合文档结构的分块方式
  2. 专有名词和型号较多时使用混合搜索
  3. 用重排序模型提高靠前结果的相关性
  4. 用查询分解把复杂问题拆成多次检索
  5. 用元数据过滤器缩小对象范围

工作中的示例

用分层分块导入长篇技术手册,用子分块检索、以父分块的上下文作答,并用重排序模型缩小到前 5 条。

易混淆点、考试注意事项

小测验

Q1. 向量检索的文档超过 1 亿份,检索延迟增加。在 OpenSearch Service 中最先应检查的是哪项?

  1. 大幅增加向量维度,只提高检索精度
  2. 把所有文档放进一个小分片,为节省费用把实例数降到最少
  3. 检查分片的数量和大小、副本、实例类型,以及按领域划分索引的方式
  4. 每次检索都重建索引,始终在最新状态下检索
查看答案和解析

正确答案:C 检查分片的数量和大小、副本、实例类型,以及按领域划分索引的方式

在大规模向量检索中,分片设计、副本、实例和索引划分(按领域)决定性能。

Q2. 希望把公司内部 Confluence 和 SharePoint 的文档也作为 RAG 的依据。最省事的方法是哪项?

  1. 构建 Amazon Kendra 索引,让智能体检索
  2. 用网络爬虫数据源抓取两个网站的 URL
  3. 用 Glue 作业把文档导出到 S3,以 S3 作为数据源
  4. 用 Bedrock 知识库的数据源连接器连接 Confluence 和 SharePoint
查看答案和解析

正确答案:D 用 Bedrock 知识库的数据源连接器连接 Confluence 和 SharePoint

除 S3 外,知识库还支持网络爬虫、Confluence、SharePoint、Salesforce 等连接器。【其他选项】Glue 导出增加工作量和更新延迟。Kendra 需要构建另一个服务。网络爬虫不适合需要认证的内部网站。

参考链接

1.6提示策略与治理

1.6 实施用于 FM 交互的提示工程策略与治理。

概念

提示由角色、指示、上下文、示例和输出格式构成,并按需使用少样本、思维链和结构化输出。Bedrock 提示管理提供提示模板与变量、版本管理以及模型设置的保存,并可用提示流把多个步骤串联起来。提示的变更通过评估和审查进行管控。

原理、步骤

  1. 把提示做成模板,用变量插入输入
  2. 在提示管理中创建版本,并固定生产中使用的版本
  3. 变更在评估数据上比较后再发布
  4. 在系统提示中写明安全指示和输出格式
  5. 记录提示内容和模型设置,以便审计

工作中的示例

把客服回复的提示在提示管理中保存为版本 3,应用按版本调用。版本 4 在通过评估确认质量改进后再切换。

易混淆点、考试注意事项

小测验

Q1. 用 AppConfig 把模型切换为其他提供商的模型后,输出 JSON 的解析失败增多。接下来最合适的做法是哪项?

  1. 为每个模型准备提示模板,用结构化输出保证格式,评估后再切换
  2. 在 AppConfig 中分阶段切换,边看失败率边提高比例
  3. 加入回退机制,把解析失败的请求重新发给原模型
  4. 把 temperature 设为 0,在新模型上继续用相同的提示
查看答案和解析

正确答案:A 为每个模型准备提示模板,用结构化输出保证格式,评估后再切换

提示的效果因模型而异。用按模型的模板、结构化输出以及切换前的评估来保持质量。【其他选项】降低 temperature 不能解决不同模型对提示的反应差异。回退和分阶段切换能控制影响,但不能修复格式失败的原因。

Q2. 希望每次修改提示时都确认质量没有下降。最合适的机制是哪项?

  1. 用带有期望输出的评估数据集,在 CI 管道中比较变更前后
  2. 在提示管理中保留版本,出问题时可以回退
  3. 在生产环境做 A/B 测试,保留用户评价更好的版本
  4. 由修改者在 playground 中试几个代表问题,没问题就发布
查看答案和解析

正确答案:A 用带有期望输出的评估数据集,在 CI 管道中比较变更前后

提示也通过回归测试保持质量。把评估数据集和自动评估(如 LLM-as-a-judge)纳入 CI。【其他选项】版本管理可以回退,但不能事先发现质量下降。少量尝试无法复现。A/B 测试要等用户受到影响后才知道。

参考链接

课程由本站根据公开信息独立编写,不保证与考试内容一致。产品规格可能变化,请在参考链接中确认最新信息。

使用须知(非官方、原创题目、不保证合格)