AI-300 · LESSON 5
优化生成式 AI 系统和模型性能10–15% · 2 个主题
学习 RAG 检索性能和精度的优化，以及微调等模型定制。
5.1优化检索增强生成（RAG）的性能和精度
Optimize retrieval-augmented generation (RAG) performance and accuracy
概念
RAG 回答的质量取决于检索能否取出正确的信息。在 Azure AI Search 中，通过结合关键字（BM25）和矢量的混合搜索、语义排序器重新排序、恰当的分块以及查询改写来提高精度。
原理、步骤
- 按语义单元并带重叠（overlap）把文档分块
- 用嵌入模型生成矢量，采用矢量与关键字的混合搜索
- 用语义排序器对靠前的结果重新排序
- 调整 top-k 和相关性阈值，减少无关的分块
- 分别衡量检索评估（检索精确率、召回率）和回答评估（依据性）
工作中的示例
按产品型号搜索时经常落空的问题，通过混合搜索同时捕获关键字精确匹配得以解决，再用语义排序器对前列结果重新排序。
易混淆点、考试注意事项
- 型号和专有名词仅靠矢量搜索容易漏掉，混合搜索很有效
- 分块过大会混入无关信息，过小会丢失上下文
- 要区分回答错误是检索的问题还是生成的问题
小测验
Q1. 在 RAG 中，关联不大的文档也混入了回答依据。作为检索端应调整的项目，合适的是哪一项？
- 回答的最大令牌数
- 相似度阈值和获取条数
- 系统消息的语气
- 生成模型的 temperature
查看答案和解析
正确答案：B 相似度阈值和获取条数
提高阈值或减少获取条数，更容易排除关联不大的文档。【其他选项】temperature、最大令牌数和语气是生成端的设置，不会改变检索获取的文档范围。
Q2. 在针对长篇规章文档的 RAG 中，回答缺少所需的前后文。应调整的是哪一项？
- 分块大小（以及重叠宽度）
- 只调整获取条数（top-k）
- 生成模型的 temperature 值
- 嵌入模型的维数
查看答案和解析
正确答案：A 分块大小（以及重叠宽度）
分块过小会割裂上下文。应一边评估一边调整大小和重叠。【其他选项】增加获取条数也无法恢复因分割而中断的前后文。维数和 temperature 不能解决上下文缺失。
参考链接
5.2实现高级微调和模型定制
Implement advanced fine-tuning and model customization
概念
微调是用本公司数据对模型进行追加训练，使其适应格式、文体或专业任务。Foundry 支持监督微调（SFT）、用偏好对学习的 DPO（直接偏好优化）、面向推理模型的强化微调（RFT）等。用大模型的输出训练小模型的蒸馏也能有效降低成本。
原理、步骤
- 先确认能否通过提示和 RAG 满足要求
- 以 JSONL（对话格式）准备训练数据，并分为训练用和验证用
- 选择适合目的的方法（SFT、DPO、RFT）和基础模型
- 用评估数据把训练后的模型与原模型比较
- 部署微调后的模型，同时考虑托管费用
工作中的示例
为了让模型以固定格式总结保险评估备忘录，用 500 条输入和理想摘要进行 SFT，与仅用提示相比大幅减少了格式错乱。
易混淆点、考试注意事项
- 添加最新事实或频繁变化的信息，RAG 比微调更合适
- DPO 需要“好回答与差回答的配对”
- 微调后的模型在部署期间会产生托管费用
小测验
Q1. 在哪种情况下微调比 RAG 更合适？
- 希望根据每个用户的查看权限筛选回答时
- 希望稳定输出格式、语气或特定任务中的行为时
- 希望向用户展示作为回答依据的文档引用时
- 希望在回答中正确反映每天更新的内部最新信息时
查看答案和解析
正确答案：B 希望稳定输出格式、语气或特定任务中的行为时
反映最新知识适合 RAG，调整行为适合微调。【其他选项】反映最新信息、显示引用、按权限筛选都适合 RAG，用微调难以实现。
Q2. 把微调后的模型投入生产的合适流程是哪一项？
- 训练结束后立即部署到生产，根据生产使用情况进行评估
- 在不同的终结点上发布新旧模型，让用户选择使用
- 确认训练损失下降后，替换旧模型并一次性全量切换
- 确认评估满足标准，进行版本管理后分阶段部署
查看答案和解析
正确答案：D 确认评估满足标准，进行版本管理后分阶段部署
微调后的模型也和一般模型一样，从开发到生产通过评估、版本管理和分阶段部署进行管理。【其他选项】仅凭训练损失无法判断业务质量。评估前部署有风险。让用户选择不是分阶段部署。
参考链接
课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。
使用须知（非官方、原创题目、不保证合格）
- 本站题目是根据官方公开的技能大纲和考试指南独立编写的原创练习题，并非真实考试题目。
- Microsoft、Azure、Copilot、Microsoft 365、Dynamics 365、Power Platform 是 Microsoft 集团的商标。本站与 Microsoft 无合作关系，也未获得 Microsoft 的认可或推荐。
- 本内容仅为学习辅助，不保证考试合格。考试内容、形式和前提条件可能随时变更，参加考试前请务必在官方页面确认最新信息。
- 模拟考试的正确率无法换算为官方（换算）分数，也不能预测是否合格。
- 进度仅保存在本浏览器（localStorage）中；使用 Google 登录后才会同步到账号。可在“Cookie 与存储设置”页面（日语）中删除。