AI-300 · LESSON 3

设计和实现 GenAIOps 基础结构20–25% · 3 个主题

学习生成式 AI 的运营基础:Microsoft Foundry 环境和平台的配置、基础模型的部署与管理,以及通过源代码管理进行提示版本管理。

3.1实现 Foundry 环境和平台配置

Implement Foundry environments and platform configuration

概念

Microsoft Foundry(原 Azure AI Foundry)是统一处理模型、代理、评估和监视的生成式 AI 平台。在 Foundry 资源下创建项目,按团队或用途划分。外部服务(Azure AI Search、存储等)通过连接(Connections)安全地连接。

原理、步骤

  1. 按开发、测试、生产分开 Foundry 资源或项目
  2. 通过托管标识和无密钥身份验证(Microsoft Entra ID)访问连接的服务
  3. 通过专用终结点和禁用公共网络访问实现封闭网络
  4. 用 RBAC(Azure AI 用户、Azure AI 项目经理等)把权限降到最小
  5. 用 Bicep 等 IaC 使环境可重现

工作中的示例

生产项目只能通过专用终结点使用,应用通过托管标识连接 Foundry 和 AI Search,不使用 API 密钥。

易混淆点、考试注意事项

小测验

Q1. 你希望 Foundry 项目不使用密钥即可访问其他 Azure 资源。合适的配置是哪一个?

  1. 在连接中注册服务主体的机密
  2. 在连接中保存访问密钥,并用 Key Vault 管理
  3. 用管理员的 Entra ID 帐户创建连接并共用
  4. 使用托管标识,并通过 RBAC 授予所需角色
查看答案和解析

正确答案:D 使用托管标识,并通过 RBAC 授予所需角色

用托管标识和 RBAC 实现无密钥且最小权限的访问。【其他选项】即使用 Key Vault 也仍在使用密钥。机密需要管理有效期和泄露。共用管理员个人帐户不恰当。

Q2. 你希望让 Foundry 环境在开发和生产中保持相同配置,并且可以审查。合适的方法是哪一个?

  1. 用 Bicep 模板和 Azure CLI 定义并部署基础结构
  2. 从门户导出 ARM 模板,每次手动修改
  3. 把开发环境的资源直接移到生产用的资源组
  4. 在门户中创建生产环境,并与开发环境的设置目视比较
查看答案和解析

正确答案:A 用 Bicep 模板和 Azure CLI 定义并部署基础结构

用 IaC 把配置代码化可以消除差异。【其他选项】移动会使开发环境消失。目视比较不是可审查的定义。手动修改导出的模板缺乏可重现性。

参考链接

3.2为生产工作负载部署和管理基础模型

Deploy and manage foundation models for production workloads

概念

Foundry 的模型因部署类型不同,在费用、数据处理位置和容量保证方面有所差异:Standard(区域内按使用量计费)、Global Standard(在全球数据中心处理,配额高)、Data Zone(在美国、欧盟等区域内处理)、Provisioned(用 PTU 预留容量,延迟稳定)以及 Batch(异步且便宜)。

原理、步骤

  1. 确认数据驻留要求,决定使用 Standard、Data Zone 还是 Global
  2. 根据流量大小和稳定性要求,选择按使用量计费还是 Provisioned(PTU)
  3. 确认 TPM(每分钟令牌数)配额和速率限制(429),并实现重试
  4. 管理模型版本的自动更新设置和停用(retirement)日程
  5. 以 API Management 作为网关,统一负载均衡、令牌限制和日志

工作中的示例

处理欧盟客户数据的聊天使用 Data Zone(EU)部署,夜间的大量摘要使用 Batch,高峰可预测的呼叫中心支持使用 Provisioned。

易混淆点、考试注意事项

小测验

Q1. 在试用阶段,你希望无需管理基础结构、按使用量计费地开始使用基础模型。合适的部署方法是哪一个?

  1. 预配吞吐量(PTU)
  2. Kubernetes 联机终结点
  3. 无服务器 API 终结点
  4. 部署到托管计算
查看答案和解析

正确答案:C 无服务器 API 终结点

无服务器 API 无需管理基础结构,只按使用量计费。【其他选项】托管计算和 Kubernetes 需要管理 VM 或群集,并有持续费用。PTU 是预留容量的固定费用,不适合试用阶段。

Q2. 在全公司推广的问答中,需要大量且稳定的吞吐量以及可预测的性能。应考虑的是哪一个?

  1. 无服务器 API(按量付费)部署
  2. 标准(按量付费)部署并申请提高吞吐量上限
  3. 吞吐量上限高的全球批处理部署
  4. 预配吞吐量(PTU)
查看答案和解析

正确答案:D 预配吞吐量(PTU)

PTU 用于预留容量,在高负载时也能获得稳定的性能。【其他选项】全球批处理适合异步处理,不适合交互式问答。按量付费受拥塞影响,性能难以预测。提高上限也不是预留容量。

参考链接

3.3通过源代码管理实现提示的版本管理

Implement prompt versioning and management with source control

概念

提示与决定应用行为的“代码”一样,应该用 Git 进行版本管理,变更经过审查和评估后再发布。以 Prompty 文件(把提示和模型设置合为一体的格式)或模板放在存储库中,并与评估管道结合。

原理、步骤

  1. 把提示和模型参数做成 Prompty 等文件,在存储库中管理
  2. 变更以拉取请求提交并接受审查
  3. 在 CI 中对评估数据集运行自动评估,低于标准则判为不合格
  4. 为合格的版本打标签,并部署到生产环境
  5. 在跟踪中记录生产中使用的提示版本

工作中的示例

即使只是在系统消息中添加一行,也要先用 GitHub Actions 测量 200 条评估数据的依据性和相关性,确认不低于上一版本后再合并。

易混淆点、考试注意事项

小测验

Q1. 生产中使用的模型版本在没有预告的情况下发生变化,输出倾向也随之改变。合适的预防措施是哪一项?

  1. 启用自动更新,通过通知了解新版本的发布
  2. 明确管理模型版本,更新在评估后分阶段部署
  3. 输出变化后,修改提示以符合以前的倾向
  4. 新版本推出后,不经评估就全量切换
查看答案和解析

正确答案:B 明确管理模型版本,更新在评估后分阶段部署

固定版本并在评估后分阶段部署,可以防止意外变化。【其他选项】自动更新无法防止无预告的变化。事后修改提示不是预防措施。不经评估就切换会引起同样的问题。

Q2. 你希望确保注意到模型的停用(retirement)日期即将到来。最合适的运营方式是哪一项?

  1. 停用日期过后出现错误时,再考虑切换到其他模型
  2. 确认模型的生命周期信息和通知,预先制定切换计划
  3. 只要启用自动更新,所有部署都能不经评估地迁移到新版本
  4. 为避免停用,持续重新部署同一版本的模型
查看答案和解析

正确答案:B 确认模型的生命周期信息和通知,预先制定切换计划

模型有停用日期。应确认公布的计划和通知,提前规划评估和切换。【其他选项】出现错误时业务已经停止。重新部署也不会改变停用日期。即使启用自动更新也需要评估和计划,且不适用于所有部署。

参考链接

课程由本站根据公开信息独立编写,不保证与考试内容一致。产品规格可能变化,请在参考链接中确认最新信息。

使用须知(非官方、原创题目、不保证合格)