AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

AI-103 · LESSON 2

实施生成式 AI 和代理解决方案30–35% · 3 个主题

学习在 Foundry 中构建生成式应用和代理，以及优化和运营生成式 AI 系统。

2.1使用 Foundry 构建生成式应用

Build generative applications by using Foundry

概念

生成式应用把系统消息、用户输入和检索到的上下文（RAG）组合后传给模型并返回响应。根据需要使用 Chat Completions / Responses API、结构化输出（JSON 架构）、函数调用和流式处理等。

原理、步骤

  1. 在系统消息中写明角色、约束和输出格式
  2. 必要时加入 few-shot 示例
  3. 用 AI Search 等搜索内部数据，作为上下文放入提示（RAG）
  4. 供后续处理使用的输出采用 JSON 架构的结构化输出
  5. 根据用途调整 temperature 和最大令牌数

工作中的示例

在一次调用中完成咨询的分类和摘要，以 {category, summary, urgency} 的 JSON 架构返回，并直接登记到工单系统。

易混淆点、考试注意事项

小测验

Q1. 采用 RAG（检索增强生成）的主要目的是什么？

  1. 搜索内部文档并作为依据传入，无需重新训练即可基于最新信息回答
  2. 用内部文档微调模型，让其权重记住最新的内部信息
  3. 把内部文档全文放进系统消息，每次请求都传入相同信息
  4. 扩大模型的上下文长度，增加一次能处理的令牌数
查看答案和解析

正确答案：A 搜索内部文档并作为依据传入，无需重新训练即可基于最新信息回答

RAG 通过在提示中加入检索到的依据，使回答有据可依。【其他选项】微调难以跟上频繁的更新，也无法显示出处。放入全文存在成本和上限问题。扩大上下文不能代替检索。

Q2. 给代理配备多个工具后，有时会调用非预期的工具。首先应检查什么？

  1. 代理所用模型的版本以及 temperature 和 top_p 的设置值
  2. 附加在工具结果上的元数据和跟踪的保留期
  3. 每个工具的名称、说明和参数定义（工具架构）是否清晰
  4. 用于调用工具的托管标识的角色分配
查看答案和解析

正确答案：C 每个工具的名称、说明和参数定义（工具架构）是否清晰

模型通过阅读工具的说明和架构来选择工具，含糊就会选错。【其他选项】模型和 temperature 也可能有影响，但首先要看工具定义。元数据和角色不是选择的依据。

参考链接

2.2使用 Foundry 构建代理

Build agents by using Foundry

概念

Foundry Agent Service 的代理组合模型、指令和工具（文件搜索、代码解释器、AI Search、基于 Bing 的依据、函数、OpenAPI、MCP 等），在线程（对话）中执行多个步骤。也可以构建让多个代理协作的配置（连接的代理、工作流）。

原理、步骤

  1. 定义代理的目的和指令（做什么、不做什么）
  2. 只添加必要的最少工具（知识用 File Search 或 AI Search，外部操作用函数、OpenAPI 或 MCP）
  3. 创建线程，添加消息并执行运行（Run）
  4. 确认工具调用的结果和跟踪
  5. 对影响大的工具设置审批或权限限制

工作中的示例

出差申请代理用 AI Search 查阅规章，通过函数调用内部申请 API，并在提交前请本人确认。

易混淆点、考试注意事项

小测验

Q1. 在与员工的多轮交流中，你希望回答能考虑之前的问题内容。需要什么？

  1. 降低 temperature、使同一问题的回答稳定的设置
  2. 管理对话历史（线程），并确定保留哪些信息的方针
  3. 只把上一个问题覆盖保存到系统消息中
  4. 每次请求都新建线程，并缓存上一次的响应
查看答案和解析

正确答案：B 管理对话历史（线程），并确定保留哪些信息的方针

多轮对话需要管理对话状态。保留什么也要从隐私角度决定。【其他选项】每次请求新建线程会丢失上下文。temperature 与保留上下文无关。只有上一个问题无法覆盖多轮交流。

Q2. 你希望把订单处理拆分为“内容提取”“库存确认”和“异常报告”并实现自动化。哪种设计合适？

  1. 在不同的模型部署上并行运行三个步骤，再拼接结果
  2. 让单个代理拥有所有工具，步骤顺序交给模型决定
  3. 在一个提示中描述所有步骤，一次调用完成全部处理
  4. 让各角色的代理相互协作的多代理配置
查看答案和解析

正确答案：D 让各角色的代理相互协作的多代理配置

按角色拆分能明确每个代理的职责，也便于评估和改进。【其他选项】一次调用难以按步骤验证和处理异常。并行运行不适合依赖顺序的步骤。把顺序交给模型会使异常报告不稳定。

参考链接

2.3优化和运营生成式 AI 系统

Optimize and operationalize generative AI systems

概念

生产环境的生成式 AI 要持续优化质量（评估）、成本（令牌、模型选择）、性能（延迟、吞吐量）和可靠性（重试、冗余）。把评估纳入发布关卡，并通过跟踪定位问题。

原理、步骤

  1. 用评估数据集和评估器确定质量标准
  2. 比较更小的模型能否满足标准，以降低成本
  3. 通过提示缓存、限制输出令牌和使用批处理降低成本和延迟
  4. 实现重试并分配到多个部署，以应对 429
  5. 通过跟踪和持续评估监视生产质量

工作中的示例

在保持回答质量的同时把分类处理切换到更小的模型，费用降低 70%，并每周确认评估指标没有下降。

易混淆点、考试注意事项

小测验

Q1. 在评估生成式应用时，你希望检测回答中出现依据文档里没有的内容（捏造）。哪种评估合适？

  1. 依据性（groundedness）评估
  2. 连贯性（coherence）评估
  3. 相关性（relevance）评估
  4. 流畅性（fluency）评估
查看答案和解析

正确答案：A 依据性（groundedness）评估

依据性评估衡量回答是否得到所给依据的支持。【其他选项】流畅性和连贯性衡量文字自然度和逻辑衔接，相关性衡量与问题的契合度，都无法检测依据中没有的捏造内容。

Q2. 在多步骤推理管道中，要把中间步骤的结果传给下一步。为保证质量，最合适的设计是什么？

  1. 规定每一步的输出格式，在进入下一步前进行验证
  2. 不记录中间结果，只评估最终结果
  3. 在每一步提高温度，以获得多样的中间结果
  4. 把所有步骤合并成一个长提示来运行
查看答案和解析

正确答案：A 规定每一步的输出格式，在进入下一步前进行验证

按步骤规定格式并验证，便于定位错误发生的位置，也能防止错误传到后续步骤。【其他选项】一个提示无法检测中间错误。提高温度会使中间结果不稳定。没有中间结果就无法追查原因。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）