AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

AIP-C01 · LESSON 5

测试、验证与故障排除11% · 2 个主题

学习生成式 AI 评估机制的实现，以及生成式 AI 应用的故障排查。

5.1实现 GenAI 评估系统

5.1 实现 GenAI 评估系统。

概念

Bedrock 的评估包括模型评估（自动指标、人工评估、以 LLM 为评审的评估）和 RAG 评估（知识库检索评估：相关性、覆盖度；检索与生成评估：正确性、忠实度、有用性）。准备评估数据集（提示和期望的回答），每次变更时进行比较。

原理、步骤

  1. 构建由代表性问题和期望回答组成的评估数据集
  2. 比较模型时，用 LLM 评审评估测量质量指标
  3. 对 RAG 分别评估检索和生成，找出问题所在
  4. 也要评估安全性（有害性、拒绝是否恰当）
  5. 把评估纳入 CI/CD 作为关卡

工作中的示例

在更改分块方式的前后运行知识库评估，确认上下文相关性和回答忠实度都有改善后再应用到生产。

易混淆点、考试注意事项

小测验

Q1. 希望 LLM-as-a-judge 的打分值得信赖。最合适的方法是哪项？

  1. 不设定评分标准，只问生成回答的同一个模型“好不好”来打分
  2. 看到评估分数不理想，就反复更换评估模型，采用分数高的那个
  3. 只要评估模型给的分数高，不需要标准和人工确认就认为质量好
  4. 制定明确的评分标准，与部分由人工打分的结果对比，校准评估模型的打分
查看答案和解析

正确答案：D 制定明确的评分标准，与部分由人工打分的结果对比，校准评估模型的打分

明确评分标准，并与人工评估对比进行校准。使用与生成模型不同的模型可以减少偏差。

Q2. 要构建评估数据集。最合适的构建方式是哪项？

  1. 只准备开发者想到的 10 个简单问题，一直使用同一套
  2. 以代表真实用户问题的示例为基础，加入边界示例、攻击性输入和无答案的问题，并准备期望的回答
  3. 不构建评估数据集，每次用临时想到的问题确认
  4. 只收集模型答对的问题作为评估数据集
查看答案和解析

正确答案：B 以代表真实用户问题的示例为基础，加入边界示例、攻击性输入和无答案的问题，并准备期望的回答

评估数据应代表生产中的问题，并包含困难示例和攻击性示例。

参考链接

5.2GenAI 应用的故障排查

5.2 对 GenAI 应用进行故障排查。

概念

常见问题与对策：ThrottlingException（429：重试、提高配额、跨区域推理、预置吞吐量）、ValidationException（输入格式、超出令牌数）、AccessDeniedException（启用模型访问、IAM）、ModelTimeout 与响应慢（流式、缩短输出）、幻觉（确认 RAG 的检索、事实依据检查）、护栏过度阻止（调整过滤器强度）。

原理、步骤

  1. 根据错误代码和消息区分原因的类型
  2. 限流时确认配额和使用量，进行重试和分散
  3. 访问被拒绝时确认模型访问和 IAM 策略
  4. 回答质量问题按检索结果、提示、模型的顺序确认
  5. 用跟踪和日志复现问题，修正后通过评估确认

工作中的示例

收到回答错误的报告后，通过跟踪查看检索结果，发现旧文档排在前面，于是改为用元数据过滤器只检索最新版。

易混淆点、考试注意事项

小测验

Q1. 模型的 JSON 输出有时无法解析而报错。最合适的对策是哪项？

  1. 在提示中给出一个 JSON 示例，要求按相同格式输出
  2. 增加最大输出词元数，避免 JSON 中途截断
  3. 把 temperature 设为 0，使相同格式更容易出现
  4. 用结构化输出或工具使用的模式定格式，失败时附上错误重新生成
查看答案和解析

正确答案：D 用结构化输出或工具使用的模式定格式，失败时附上错误重新生成

用模式规定格式。失败时告知验证错误并重新生成，往往更容易修正。【其他选项】temperature 或示例能减少失败，但不能保证格式。最大词元数只在被截断时有效。用模式和验证错误重新生成才能可靠修正。

Q2. 关于 Converse 或 InvokeModel 调用返回的错误类型及其应对的组合，错误的是哪项？

  1. 临时性错误最好用指数退避重试
  2. ThrottlingException 表示请求格式错误，重试也没有意义
  3. AccessDeniedException 表示权限不足
  4. ValidationException 表示请求格式或参数有误
查看答案和解析

正确答案：B ThrottlingException 表示请求格式错误，重试也没有意义

ThrottlingException 表示请求过多。用退避重试往往能成功。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）