AI-300 · LESSON 4
实现生成式 AI 质量保证和可观测性10–15% · 2 个主题
学习生成式 AI 应用和代理的评估（质量与安全），以及通过跟踪实现的可观测性。
4.1为生成式 AI 应用和代理配置评估与验证
Configure evaluation and validation for generative AI applications and agents
概念
评估是用指标衡量输出的质量和安全性。Foundry 提供内置评估器：AI 辅助的质量指标（依据性、相关性、连贯性、流畅性）、与正确答案比较的指标（F1、BLEU、ROUGE、相似度）、安全指标（暴力、自残、仇恨、性内容、受保护材料、间接攻击）以及代理指标（意图解决、工具调用准确性、任务遵循）。
原理、步骤
- 创建包含代表性问题和期望回答的评估数据集
- 选择适合用途的评估器（RAG 用依据性和相关性，代理用工具调用准确性等）
- 在云端或通过 SDK 运行评估，并与上一版本比较结果
- 用 AI 红队代理等进行对抗性测试，确认安全性
- 把评估作为发布前的关卡纳入 CI/CD
工作中的示例
在内部规章问答机器人中找出依据性低于 4.0 的回答，修正检索设置和系统消息后重新评估。
易混淆点、考试注意事项
- 依据性是“是否基于依据（上下文）”，相关性是“是否回答了问题”
- 与正确答案比较的指标（如 F1）需要正确答案（ground truth）
- 也要结合人工评估，确认 AI 辅助评估的有效性
小测验
Q1. 开始评估生成式 AI 应用时，首先应准备什么？
- 用于评估的 GPU 计算群集及其配额申请
- 显示评估结果的仪表板界面设计和配色方案
- 导出全部生产对话日志、仍包含个人信息的 JSONL 数据集
- 包含问题、上下文、期望回答等的测试数据集，以及到评估器的列映射
查看答案和解析
正确答案：D 包含问题、上下文、期望回答等的测试数据集，以及到评估器的列映射
评估从测试数据以及把各列映射到评估器输入开始。【其他选项】仍包含个人信息的生产日志不恰当。评估器无需准备群集即可运行。界面设计不是评估的前提。
Q2. 衡量回答“是否得到所提供上下文支持”的指标是哪一个？
- 相似度（similarity）指标
- 相关性（relevance）
- 依据性（groundedness）
- 流畅性（fluency）
查看答案和解析
正确答案：C 依据性（groundedness）
依据性衡量回答是否基于给定的上下文。【其他选项】相关性是与问题的契合度，流畅性是文字的自然程度，相似度是与期望回答的接近程度，都不衡量是否得到上下文支持。
参考链接
4.2为生成式 AI 应用和代理实现可观测性
Implement observability for generative AI applications and agents
概念
可观测性是让人能追踪生产中应用和代理内部发生了什么。基于 OpenTelemetry 的跟踪记录提示、响应、工具调用、令牌数和延迟，并发送到 Application Insights。持续评估可以定期评估生产流量的样本。
原理、步骤
- 把 Application Insights 连接到项目
- 在 SDK 中启用跟踪，记录各跨度（模型调用、检索、工具）
- 在仪表板上监视令牌使用量、延迟和错误率
- 设置持续评估和警报，检测质量下降
- 调整记录的内容，避免日志中保留过多个人信息
工作中的示例
针对代理响应慢的投诉，通过跟踪发现其中一次工具调用耗时 8 秒，于是为该 API 加入缓存。
易混淆点、考试注意事项
- 跟踪是按请求的详细信息，指标是汇总值，两者目的不同
- 按照隐私方针控制提示和响应内容的记录
- 评估（发布前）和监视（发布后）两者都需要
小测验
Q1. 在生产中的生成式 AI 应用里，你希望找出响应慢的原因。最有帮助的是哪一项？
- 终结点平均响应时间指标和每 5 分钟一次的警报设置
- 每天的令牌消耗量和部署配额的使用率
- 应用的错误日志和用户咨询的数量
- 每个处理步骤的跟踪（搜索、模型调用、工具执行等的时间明细）
查看答案和解析
正确答案：D 每个处理步骤的跟踪（搜索、模型调用、工具执行等的时间明细）
通过跟踪分解各处理步骤的延迟，就能找出瓶颈。【其他选项】平均响应时间看不出哪个处理慢。令牌量和配额可能是原因，但不显示明细。错误日志不是延迟的明细。
Q2. 你希望按部门管理生成式 AI 的使用成本。应监视的指标是哪一项？
- 评估分数和安全检测数
- 请求数和平均响应时间
- 令牌消耗量和资源使用量
- 部署数量和所用模型的种类
查看答案和解析
正确答案：C 令牌消耗量和资源使用量
成本与令牌消耗和资源使用量密切相关。【其他选项】请求数和响应时间与成本不成比例。评估分数是质量指标。部署数量不显示成本明细。
参考链接
课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。
使用须知（非官方、原创题目、不保证合格）
- 本站题目是根据官方公开的技能大纲和考试指南独立编写的原创练习题，并非真实考试题目。
- Microsoft、Azure、Copilot、Microsoft 365、Dynamics 365、Power Platform 是 Microsoft 集团的商标。本站与 Microsoft 无合作关系，也未获得 Microsoft 的认可或推荐。
- 本内容仅为学习辅助，不保证考试合格。考试内容、形式和前提条件可能随时变更，参加考试前请务必在官方页面确认最新信息。
- 模拟考试的正确率无法换算为官方（换算）分数，也不能预测是否合格。
- 进度仅保存在本浏览器（localStorage）中；使用 Google 登录后才会同步到账号。可在“Cookie 与存储设置”页面（日语）中删除。