AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

PMLE · LESSON 4

第 4 部分：模型的服务与扩展約20% · 2 个主题

学习批量推理与在线推理，以及模型的服务与扩缩。

4.1批量推理与在线推理

批量推理与在线推理（Agent Platform・Model Garden・Cloud Run・GKE）、预构建・自定义容器、Model Registry、A/B 测试・金丝雀、推理的预处理・后处理

概念

批量推理集中预测大量数据，并把结果输出到 BigQuery 或 Cloud Storage（不需要即时性时）。在线推理在端点上按请求以低延迟进行预测。服务平台包括 Agent Platform 的端点、从 Model Garden 部署、Cloud Run 和 GKE。使用预构建容器或自定义容器，并用 Model Registry 管理模型版本。用 A/B 测试或金丝雀在部分流量上试验新模型。

原理、步骤

  1. 根据即时性要求决定批量还是在线
  2. 把模型和版本登记到 Model Registry
  3. 在端点上拆分流量，用金丝雀试验新版本
  4. 用容器或流水线使推理的预处理・后处理保持一致

工作中的示例

每晚全部顾客的流失分数用批量推理输出到 BigQuery，网站推荐则由在线端点在 100 毫秒内返回。

易混淆点、考试注意事项

小测验

Q1. 使用 Model Registry 的优点，最合适的是哪项？

  1. 自动检测并遮盖训练数据中的 PII
  2. 按版本保存笔记本协同编辑的评论
  3. 自动优化并改写模型训练的损失函数
  4. 管理模型的版本和别名，明确哪个版本在生产中
查看答案和解析

正确答案：D 管理模型的版本和别名，明确哪个版本在生产中

用“default”等别名指向生产版本。

Q2. 流量拆分功能的用途，最合适的是哪项？

  1. 把一个请求按字数拆分分别处理
  2. 把网络带宽按员工平均分配
  3. 按比例把请求分配给同一端点上的多个模型
  4. 自动把训练数据分为训练用和验证用
查看答案和解析

正确答案：C 按比例把请求分配给同一端点上的多个模型

用于实现金丝雀和 A/B 测试。

参考链接

4.2在线服务的扩缩

在线服务的扩缩（Feature Store，公共・私有端点，CPU・GPU・TPU・边缘，按吞吐量扩缩，面向生产的调优）

概念

在线服务从 Feature Store 以低延迟获取最新特征，并通过公共或私有端点（从 VPC 内部调用）提供。硬件可从 CPU・GPU・TPU 以及在终端上运行的边缘中选择。用最小・最大副本数和自动扩缩匹配吞吐量，并通过模型优化（量化等）和调整机器类型进行面向生产的调优。

原理、步骤

  1. 确定延迟和吞吐量的目标
  2. 在线特征从 Feature Store 获取
  3. 只在公司内部调用时使用私有端点
  4. 用最小副本数和自动扩缩应对高峰

工作中的示例

为应对促销期间 10 倍的访问量，把最小副本设为 2、最大设为 20 进行自动扩缩，并用 GPU 机器确保延迟。

易混淆点、考试注意事项

小测验

Q1. 在在线服务中使用 Feature Store 的优点，最合适的是哪项？

  1. 以毫秒为单位自动重新训练模型权重
  2. 自动把推理请求转发到其他区域
  3. 使端点的使用费必然免费
  4. 能以低延迟获取最新的特征
查看答案和解析

正确答案：D 能以低延迟获取最新的特征

从在线存储中取出最新的值。

Q2. 在 GPU 服务中提高利用效率的方法，最合适的是哪项？

  1. 每个 GPU 总是只分配一个请求，其余排队等待
  2. 每次请求都释放并重新分配 GPU 内存
  3. 把请求合并处理（批处理），发挥 GPU 的并行性
  4. GPU 不能用于推理，因此只在训练时使用
查看答案和解析

正确答案：C 把请求合并处理（批处理），发挥 GPU 的并行性

用动态批处理提高吞吐量。

参考链接

课程由本站根据公开信息独立编写，不保证与考试内容一致。产品规格可能变化，请在参考链接中确认最新信息。

使用须知（非官方、原创题目、不保证合格）