AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

AIP-C01 · LESSON 4

生成式 AI 应用的运营效率与优化12% · 3 个主题

学习成本优化与资源效率、应用性能优化，以及生成式 AI 应用的监控。

4.1成本优化与资源效率

4.1 实施成本优化与资源效率策略。

概念

生成式 AI 的成本主要由令牌量决定。可以通过提示缓存（缓存重复使用的长上下文，降低输入成本和延迟）、选择合适的模型（小模型、蒸馏）、提示路由、批量推理、限制输出令牌以及调整 RAG 的检索条数来降低成本。

原理、步骤

  1. 按模型和功能测量令牌使用量
  2. 对长系统提示和文档上下文使用提示缓存
  3. 选择能保持质量的最小模型（也考虑蒸馏）
  4. 不需要即时性的处理使用批量推理
  5. 减少检索条数和对话历史，以减少输入令牌

工作中的示例

在每次都把同一份 20 页产品手册放入上下文的聊天中使用提示缓存，大幅降低输入成本和首次响应时间。

易混淆点、考试注意事项

小测验

Q1. 在长对话的聊天中，每次都发送全部对话历史，导致输入令牌不断增加。最合适的对策是哪项？

  1. 把全部对话历史各发送两次，以免模型忘记
  2. 把较早的往来内容总结缩短，只发送最近的往来和摘要
  3. 不发送对话历史，每次只发送当前问题，忽略之前的内容
  4. 认为只要增大最大令牌数，输入令牌费用就会下降
查看答案和解析

正确答案：B 把较早的往来内容总结缩短，只发送最近的往来和摘要

只发送较早往来的摘要和最近的往来，可以在保持上下文的同时减少令牌。

Q2. 回答中冗长的开场白和重复很多，输出令牌费用增加。最合适的对策是哪项？

  1. 不在意输出长度，把生成的回答原样全部显示给用户
  2. 认为只要把输入提示写长，输出自然会变短
  3. 调高 temperature，让每次回答长度都不同
  4. 在提示中规定输出格式和长度，并用 maxTokens 设置上限
查看答案和解析

正确答案：D 在提示中规定输出格式和长度，并用 maxTokens 设置上限

通过规定输出格式和长度，以及 maxTokens 上限，可以减少不必要的输出令牌。

参考链接

4.2优化应用性能

4.2 优化应用性能。

概念

性能指标包括首个令牌时间（TTFT）、整体延迟和吞吐量。可以通过流式、延迟优化推理（在支持的模型上使用更快的基础设施）、提示缓存、小模型、并行处理和缩短输出来改善。吞吐量则通过跨区域推理或预置吞吐量来确保。

原理、步骤

  1. 确定 TTFT 和延迟的目标
  2. 用流式提高体感速度
  3. 在支持的模型上使用延迟优化推理
  4. 把相互独立的处理（如检索和分类）并行执行
  5. 吞吐量不足时使用跨区域推理或预置吞吐量

工作中的示例

在语音助手中使用延迟优化推理和流式，使首次响应在 500 毫秒以内。

易混淆点、考试注意事项

小测验

Q1. 关于提示缓存的说明，错误的是哪项？

  1. 可以降低输入令牌费用和延迟
  2. 缓存有有效时间（TTL）
  3. 即使缓存部分的内容每次都变化，也同样有降低费用的效果
  4. 可以减少对重复发送的长开头部分的处理
查看答案和解析

正确答案：C 即使缓存部分的内容每次都变化，也同样有降低费用的效果

缓存在相同的开头部分重复出现时才有效。内容变化时不会使用缓存。

Q2. 关于向量存储运维的说明，错误的是哪项？

  1. 即使更换了嵌入模型，旧向量和新向量也可以直接比较
  2. 可以通过 HNSW 等近似搜索的参数调整召回率与延迟的平衡
  3. 增加副本可以分担读取处理
  4. 通过量化可以减少向量的内存
查看答案和解析

正确答案：A 即使更换了嵌入模型，旧向量和新向量也可以直接比较

不同嵌入模型的向量不在同一空间中，无法比较。

参考链接

4.3生成式 AI 应用的监控

4.3 实现 GenAI 应用的监控系统。

概念

CloudWatch 提供 Bedrock 指标（调用次数、延迟、令牌数、限流）、生成式 AI 可观测性（模型调用和代理的跟踪）以及 AgentCore Observability（代理会话和工具调用的跟踪）。质量监控则要结合对调用日志样本的定期评估。

原理、步骤

  1. 为令牌数、延迟、错误和限流创建仪表板和告警
  2. 在代理跟踪中找出慢的工具和失败的步骤
  3. 监控护栏介入的次数
  4. 定期评估日志样本，发现质量下降
  5. 用 Cost Anomaly Detection 检测成本异常

工作中的示例

通过告警发现代理的响应变慢，并在 AgentCore 的跟踪中确定库存 API 工具耗时 6 秒。

易混淆点、考试注意事项

小测验

Q1. 希望在生成式 AI 应用的月度费用可能超出预算时尽早得到通知。最合适的方法是哪项？

  1. 每周在 Cost Explorer 中确认 Bedrock 费用走势
  2. 在 AWS Budgets 中创建预算，预测金额可能超过上限时通知
  3. 在 Service Quotas 中降低 Bedrock 配额以控制用量
  4. 对 CloudWatch 的词元数指标设置告警
查看答案和解析

正确答案：B 在 AWS Budgets 中创建预算，预测金额可能超过上限时通知

AWS Budgets 可以在实际金额或预测金额可能超出预算时发出通知。【其他选项】每周确认是人工作业，不能提前通知。词元数不能与预算金额比较。降低配额会连正常使用也阻止。

Q2. 从上个月起，Bedrock 费用突然增至 3 倍，原因不明。接下来最合适的做法是哪项？

  1. 按模型和推理配置文件查看 CloudWatch 的词元数，找出增长的处理
  2. 在所有应用中启用提示缓存，降低输入词元的费用
  3. 把使用最多的模型换成便宜的，用下月费用看效果
  4. 在 Cost Explorer 中查看 Bedrock 服务合计的走势，确认增长的月份
查看答案和解析

正确答案：A 按模型和推理配置文件查看 CloudWatch 的词元数，找出增长的处理

首先通过度量确定原因。查看按模型、推理配置文件和时间划分的令牌数，就能知道哪些处理增加了。【其他选项】只看服务合计无法知道哪个处理增长了。在找到原因前换模型或加缓存，无法确认效果和对质量的影响。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）