规划和管理 Azure AI 解决方案
Plan and manage an Azure AI solution
学习目标
- 根据任务选择大语言模型、小语言模型、多模态模型和 Foundry 工具
- 使用托管标识、专用网络、无密钥身份验证和 RBAC 配置安全
- 管理配额、速率限制和成本,并监视质量和安全
- 通过防护措施、评估、跟踪和审批流实施负责任 AI
要点
- 模型选择是质量、延迟和成本之间的平衡:大量常规分类用小语言模型,复杂推理用大模型,涉及图像时用多模态模型。
- 无密钥身份验证是原则:为应用分配托管标识,并用 RBAC 只授予最少的角色。绝不要把 API 密钥放在代码或存储库中。
- 用专用终结点等隔离网络,缩小公开范围。
- 应对 429(速率限制):检查配额、使用指数退避重试并做好容量规划。成本取决于令牌量和部署类型。
- 监视对象不仅是模型性能,还包括依据性(grounding)质量、安全事件以及搜索索引的健康状况。
- 负责任 AI:把内容筛选器和防护措施、评估、跟踪和来源元数据、审批工作流以及工具访问控制作为一个整体来设计。
工作中的应用场景
- 销售按用途拆分模型以控制成本:提案草稿用大模型,咨询分类用小模型。
- 总务用托管标识和专用网络构建内部规章问答应用,消除 API 密钥管理负担和泄露风险。
- 财务付款相关工具不由代理直接执行,而是经过审批工作流。通过跟踪记录“谁依据什么批准了什么”。
考试评估项目(来自考试指南)
- Choose the appropriate Foundry services for generative AI and agents
- Set up AI solutions in Foundry
- Manage, monitor, and secure AI systems
- Implement responsible AI across generative AI and agentic systems