STEP 1 · 学习

AI-103 学习Azure AI 应用和代理开发人员

按考试领域阅读要点,然后点击各领域末尾的“练习该领域”,只练习该领域的题目。比例越大的领域在正式考试中出题越多。

01

规划和管理 Azure AI 解决方案

Plan and manage an Azure AI solution

25–30%

学习目标

  • 根据任务选择大语言模型、小语言模型、多模态模型和 Foundry 工具
  • 使用托管标识、专用网络、无密钥身份验证和 RBAC 配置安全
  • 管理配额、速率限制和成本,并监视质量和安全
  • 通过防护措施、评估、跟踪和审批流实施负责任 AI

要点

  • 模型选择是质量、延迟和成本之间的平衡:大量常规分类用小语言模型,复杂推理用大模型,涉及图像时用多模态模型。
  • 无密钥身份验证是原则:为应用分配托管标识,并用 RBAC 只授予最少的角色。绝不要把 API 密钥放在代码或存储库中。
  • 用专用终结点等隔离网络,缩小公开范围。
  • 应对 429(速率限制):检查配额、使用指数退避重试并做好容量规划。成本取决于令牌量和部署类型。
  • 监视对象不仅是模型性能,还包括依据性(grounding)质量、安全事件以及搜索索引的健康状况。
  • 负责任 AI:把内容筛选器和防护措施、评估、跟踪和来源元数据、审批工作流以及工具访问控制作为一个整体来设计。

工作中的应用场景

  • 销售按用途拆分模型以控制成本:提案草稿用大模型,咨询分类用小模型。
  • 总务用托管标识和专用网络构建内部规章问答应用,消除 API 密钥管理负担和泄露风险。
  • 财务付款相关工具不由代理直接执行,而是经过审批工作流。通过跟踪记录“谁依据什么批准了什么”。

考试评估项目(来自考试指南)

  • Choose the appropriate Foundry services for generative AI and agents
  • Set up AI solutions in Foundry
  • Manage, monitor, and secure AI systems
  • Implement responsible AI across generative AI and agentic systems

学习资源

02

实施生成式 AI 和代理解决方案

Implement generative AI and agentic solutions

30–35%

学习目标

  • 使用 Foundry SDK 实现包含 RAG 和工具集成的生成式应用
  • 构建定义了角色、目标、工具架构和对话管理的代理
  • 设计多代理和带审批的半自主工作流
  • 通过调整生成参数、跟踪和令牌分析优化运营

要点

  • RAG 通过搜索收集依据并传给模型来回答,无需重新训练模型即可反映内部信息。
  • 明确定义代理工具的名称、说明和参数类型。说明含糊会导致调用错误的工具。
  • 继续对话需要管理对话历史(线程)。要决定记住什么、舍弃什么。
  • 多代理系统分工明确,由编排者进行协调。不要把一切都塞进一个代理。
  • 订货、付款等影响大的操作不得自主执行,必须经过审批流。
  • 从质量(相关性、依据性)和安全两方面进行评估。加入检测捏造(无依据回答)的评估。
  • 需要一致性的业务应降低 temperature 等参数。通过跟踪、令牌分析和延迟细分确保可观测性。

工作中的应用场景

  • 销售用 RAG 参考每个客户过去的商谈记录,起草下次拜访的要点;最终提案由负责人确认。
  • 总务物品订购代理:把库存确认工具与订购工具分开,只在审批后执行订购。
  • 财务把发票核对做成多代理(提取、核对、异常报告),差异由人判断。

考试评估项目(来自考试指南)

  • Build generative applications by using Foundry
  • Build agents by using Foundry
  • Optimize and operationalize generative AI systems

学习资源

03

实施计算机视觉解决方案

Implement computer vision solutions

10–15%

学习目标

  • 实现基于文本和参考图像的图像、视频生成与编辑(如修补)
  • 使用多模态模型和 Content Understanding 分析图像和视频
  • 应对多模态特有的风险,如通过图像中的文字进行的间接提示注入

要点

  • 图像生成除了文本提示外,还可以使用参考图像。只修改局部时,使用指定蒙版的修补(inpainting)。
  • 基于图像内容的问答、描述和替代文本(alt-text)生成是多模态模型的强项。替代文本应符合无障碍要求。
  • Content Understanding 用于从图像和视频中提取结构化特征。视频按片段处理。
  • 注意间接提示注入:嵌入图像中的文字被当作指令解释。应设计为不把来自图像的文本当作指令。
  • 对生成内容应用水印、禁止内容检测和品牌规范等策略。

工作中的应用场景

  • 销售根据商品图像生成目录用说明和替代文本,由负责人确认措辞后发布。
  • 总务为内部公告生成的图像应用品牌指南和水印。
  • 财务读取收据图像时,设计为不把图像中的文字作为指令执行,以防止注入。

考试评估项目(来自考试指南)

  • Design and implement image- and video-generation solutions
  • Design and implement multimodal understanding workflows
  • Implement responsible AI for multimodal content

学习资源

04

实施文本分析解决方案

Implement text analysis solutions

10–15%

学习目标

  • 使用生成式提示和 Foundry 工具提取实体、摘要和结构化 JSON
  • 实现情绪、语气和敏感信息检测以及翻译
  • 把语音识别、语音合成和语音翻译集成到代理中

要点

  • 提取结果要供后续步骤使用,因此要用架构指定 JSON 等结构化输出。
  • 检测情绪、语气、安全问题和敏感信息(如个人信息),直接关系到咨询分派和信息管理。
  • 根据用途区分使用 Azure Translator 和大语言模型翻译。需要统一术语时,考虑使用词典和术语表。
  • 行业术语或内部术语识别率低时,用自定义语音模型改进。
  • 语音是代理的输入输出模态之一。按语音→文本→推理→语音的流程设计。

工作中的应用场景

  • 销售转录商谈录音,以 JSON 提取要点、下一步行动和竞争对手名称,写入 CRM 草稿。
  • 总务从内部咨询中检测个人信息,屏蔽后再记录。
  • 财务翻译海外供应商的英文付款条件,并用内部词典统一会计科目等术语。

考试评估项目(来自考试指南)

  • Apply language model text analysis
  • Implement speech solutions

学习资源

05

实施信息提取解决方案

Implement information extraction solutions

10–15%

学习目标

  • 引入文档、图像、音频和视频并编制索引
  • 配置语义搜索、混合搜索和矢量搜索
  • 通过 OCR、布局分析和字段提取从文档中取出结构化数据

要点

  • 混合搜索结合了关键字搜索和矢量搜索,既能应对型号和专有名词,也能应对换说法。
  • 语义排序按含义对搜索结果重新排序,提高靠前结果的相关性。
  • 扫描 PDF 需要包含 OCR 的引入流程。用布局分析保留表格和标题的结构。
  • 用扩充(技能)添加文本、图像和布局信息后再编制索引。
  • 用 Content Understanding 生成 Markdown 等结构化输出,便于后续 RAG 和代理步骤处理。
  • 搜索管道可以直接作为代理的工具连接。

工作中的应用场景

  • 销售用混合搜索跨过去的提案书和报价单查找,无论指定型号还是模糊提问都能找到。
  • 总务用 OCR 和布局分析引入纸质规章汇编,在保留章节结构的同时作为问答依据。
  • 财务从发票中提取供应商、金额和付款期限字段,传给核对代理。

考试评估项目(来自考试指南)

  • Build retrieval and grounding pipelines
  • Extract content from documents

学习资源

读完之后

使用须知(非官方、原创题目、不保证合格)