AIAI Agent Dev Labaiagentdev-lab.com
登录以保存学习记录登录
菜单

STEP 1 · 学习

AI-300 学习机器学习运营（MLOps / GenAIOps）工程师

按考试领域阅读要点，然后点击各领域末尾的“练习该领域”，只练习该领域的题目。比例越大的领域在正式考试中出题越多。

01

设计和实现 MLOps 基础结构

Design and implement an MLOps infrastructure

15–20%

学习目标

  • 能够配置工作区、数据存储、计算以及标识和访问管理
  • 能够管理数据资产、环境和组件，并通过注册表在工作区之间共享
  • 能够使用 Bicep、Azure CLI 和 GitHub Actions 自动构建环境并限制网络

要点

  • 工作区是 ML 资产的管理单位。数据存储是到存储的连接信息，数据资产是对该数据的引用（可进行版本管理）。
  • 按用途选择计算：开发用计算实例、训练用自动缩放群集、无需管理的无服务器等。
  • 定义环境（依赖库、映像）可以提高训练和推理的可重现性。组件是管道中可重用的部件。
  • 使用注册表，可以在多个工作区（开发、生产等）之间共享模型、环境和组件。
  • IaC：用 Bicep 和 Azure CLI 定义工作区，用 GitHub Actions 自动预配。向 Azure 进行身份验证时，应考虑联合凭据（OIDC）等，而不是长期机密。
  • 生产工作区通过专用网络等限制访问，代码用 Git 管理。

工作中的应用场景

  • 销售用 Bicep 让订单预测模型的开发和生产环境保持相同配置，防止“开发中能运行、生产中却不行”。
  • 总务按部门分开工作区，用 RBAC 把查看和运行权限保持在最小。
  • 财务通过注册表共享信用评分模型的资产，生产环境只放置已批准的版本。

考试评估项目（来自考试指南）

  • Create and manage resources in a Machine Learning workspace
  • Create and manage assets in a Machine Learning workspace
  • Implement IaC for Machine Learning

学习资源

详细学习（3 个主题，附小测验）→练习该领域（62 题）→下一个领域 ↓
02

实现机器学习模型生命周期和运营

Implement machine learning model lifecycle and operations

25–30%

学习目标

  • 能够实现基于 MLflow 的实验跟踪、AutoML、超参数调整和训练管道
  • 能够注册 MLflow 模型并进行版本管理，从负责任 AI 的角度进行评估
  • 能够分阶段部署到实时或批处理终结点，并能回滚
  • 能够监视数据偏移和性能，并设置重新训练和警报

要点

  • 用 MLflow 记录参数、指标和项目，就能在作业之间比较性能。
  • AutoML 自动探索候选算法和预处理。超参数调整用扫描作业自动化，并用提前终止策略停止无效的试验。
  • 大型模型的训练使用分布式训练。把训练步骤做成管道，以便重新执行。
  • 注册模型并进行版本管理。不再使用的版本进行存档。
  • 需要即时响应时使用实时（联机）终结点，大量数据的定期处理使用批处理终结点。
  • 新版本在同一终结点内只分配一部分流量进行分阶段部署，出现问题就退回旧版本。
  • 在生产中监视数据偏移和性能指标，超过阈值时启动重新训练或警报。

工作中的应用场景

  • 销售用 10% 的流量试用新的潜在客户评分模型，确认成交率指标没有恶化后再全量切换。
  • 总务每天早上用批处理终结点计算咨询量预测，用于服务台的人员安排。
  • 财务费用欺诈检测模型的输入数据分布发生变化时发出偏移警报。重新训练后仍由审批人审查结果。

考试评估项目（来自考试指南）

  • Orchestrate model training
  • Implement model registration and versioning
  • Deploy machine learning models for production environments
  • Monitor and maintain machine learning models in production

学习资源

详细学习（4 个主题，附小测验）→练习该领域（91 题）→下一个领域 ↓
03

设计和实现 GenAIOps 基础结构

Design and implement a GenAIOps infrastructure

20–25%

学习目标

  • 能够配置 Foundry 的资源、项目、托管标识、RBAC 和专用网络
  • 能够区分使用无服务器 API 和托管计算，并进行包括 PTU 在内的容量规划
  • 能够比较提示的变体，并用 Git 进行版本管理

要点

  • 用 IaC（Bicep / Azure CLI）创建 Foundry 的资源和项目，用托管标识和 RBAC 控制访问。
  • 基础模型的部署，根据需求在按使用量计费、简单易用的无服务器 API 和在专用计算资源上运行的托管计算之间选择。
  • 需要大量且稳定吞吐量的生产工作负载，考虑预配吞吐量（PTU）。
  • 按用途（质量、延迟、成本）选择模型，固定版本，分阶段部署到生产。
  • 提示与代码一样是资产。创建变体，通过评估比较，并用 Git 进行版本管理。

工作中的应用场景

  • 销售为提案书生成创建 3 个提示方案，用评估数据比较，把采用的版本在 Git 中打标签后发布到生产。
  • 总务全公司问答使用量大且需要稳定，因此使用 PTU；部门试用从无服务器 API 开始。
  • 财务财务项目在封闭网络中配置，只允许通过托管标识访问。

考试评估项目（来自考试指南）

  • Implement Foundry environments and platform configuration
  • Deploy and manage foundation models for production workloads
  • Implement prompt versioning and management with source control

学习资源

详细学习（3 个主题，附小测验）→练习该领域（73 题）→下一个领域 ↓
04

实现生成式 AI 质量保证和可观测性

Implement generative AI quality assurance and observability

10–15%

学习目标

  • 能够创建评估用测试数据，并用依据性、相关性、连贯性、流畅性等指标进行评估
  • 能够配置针对有害内容的风险和安全评估以及自动评估工作流
  • 能够通过延迟、吞吐量、令牌消耗和跟踪监视生产环境

要点

  • 评估从测试数据集（问题、上下文、期望回答等）和列映射开始。
  • 主要质量指标：依据性（groundedness）、相关性（relevance）、连贯性（coherence）、流畅性（fluency）。
  • 在质量之外，还要进行针对有害内容等的风险和安全评估。
  • 组合内置指标和自定义指标，构建每次变更时自动运行评估的工作流。
  • 在生产中持续监视延迟、吞吐量、响应时间以及令牌消耗等成本，并通过详细的日志和跟踪调查故障。

工作中的应用场景

  • 销售每周自动评估提案邮件生成的质量，检测到相关性分数下降时重新审视提示。
  • 总务通过跟踪把搜索处理和模型处理分开，找出内部问答回答延迟增加的原因。
  • 财务可视化各部门的令牌消耗，用于管理每月预算上限。

考试评估项目（来自考试指南）

  • Configure evaluation and validation for generative AI applications and agents
  • Implement observability for generative AI applications and agents

学习资源

详细学习（2 个主题，附小测验）→练习该领域（40 题）→下一个领域 ↓
05

优化生成式 AI 系统和模型性能

Optimize generative AI systems and model performance

10–15%

学习目标

  • 能够调整分块大小、相似度阈值和检索策略来改进 RAG
  • 能够通过选择嵌入模型、混合搜索和 A/B 测试验证改进
  • 能够使用微调和合成数据，并从开发到生产进行管理

要点

  • RAG 的准确性首先取决于检索。一边评估，一边调整分块大小、相似度阈值、获取条数和检索策略。
  • 在专业术语多的领域，选择和调整嵌入模型很有效。关键字匹配重要时结合混合搜索。
  • 用相关性指标和 A/B 测试验证改进，不凭感觉判断。
  • 微调用于改进提示或 RAG 无法解决的“输出格式、语气、专业任务”。添加最新知识更适合用 RAG。
  • 训练数据不足时可以创建合成数据，但必须检查质量和偏差。微调后也要继续监视性能。

工作中的应用场景

  • 销售产品手册 RAG 经常漏掉型号，因此引入混合搜索，并用 A/B 测试确认效果。
  • 总务通过调整分块大小和获取条数，改善规章问答回答过长的问题。
  • 财务通过微调稳定会计分录摘要的固定格式输出，最新的税制信息在 RAG 端更新。

考试评估项目（来自考试指南）

  • Optimize retrieval-augmented generation (RAG) performance and accuracy
  • Implement advanced fine-tuning and model customization

学习资源

详细学习（2 个主题，附小测验）→练习该领域（45 题）→挑战模拟考试 →

读完之后

练习全部领域（311 题）模拟考试（50 题 · 75 分钟）AI-300 首页
使用须知（非官方、原创题目、不保证合格）