在生产系统中部署机器学习模型

在《生产系统中的机器学习工程(MLOps)》专业课程的第四门课程中,您将学习如何部署ML模型,使其可用于终端用户。您将构建可伸缩和可靠的硬件基础设施,并基于用例实时和批量交付推理请求。您还将参考当前的MLOps实践实现工作流自动化和渐进交付,以保持生产系统的运行。此外,您还将持续监控系统,以检测模型衰减、纠正性能下降,并避免系统故障,以便系统在任何时候都能持续运行。

课程大纲

第一章:模型服务:介绍

本章节共有7个视频 、6个阅读 、4个练习 ,完成时间197分钟。

7个视频

1. 整体概览 (4分钟)

2. 介绍模型服务 (6分钟)

3. 介绍模型服务基础设施 (5分钟)

4. 部署选项 (4分钟)

5. 改善预测延迟和降低资源消耗 (5分钟)

6. 在AI Prediction Platform上创建和部署模型 (2分钟)

7. 安装TensorFlow Serving (6分钟)

6个阅读

1. 实验室-最佳实践 (不计分)(5分钟)

2. 实验室-介绍Docker (不计分)(20分钟)

3. 欢迎加入DeepLearning.AI中国官方论坛 (5分钟)

4. 在云AI上搭建、训练和部署一个XGBoost模型 (选修)(45分钟)

5. 实验室-TensorFlow Serving和Docker (不计分)(20分钟)

6. 第一章课件 (1分钟)

4个练习

1. 介绍模型服务 (4分钟)

2. 介绍模型服务基础设施 (5分钟)

3. TensorFlow Serving (30分钟)

4. 实验室-用TensorFlow Serving服务一个模型 (不计分)(30分钟)

第二章:模型服务:模式和基础设施

本章节共有8个视频 、8个阅读 、7个练习 ,完成时间447分钟。

8个视频

1. 模型服务架构 (5分钟)

2. 模型服务:TensorFlow Serving (4分钟)

3. 模型服务:其他供应商 (6分钟)

4. 缩放基础设施 (10分钟)

5. 在线推理 (6分钟)

6. 数据预处理 (4分钟)

7. 批量推理场景 (6分钟)

8. 使用ETL进行批处理 (3分钟)

8个阅读

1. 模型服务器文献 (10分钟)

2. 实验室-使用FastAPI和Docker部署一个模型 (不计分)(60分钟)

3. 通过男子乐队学习缩放 (10分钟)

4. 探索Kubernetes和KubeFlow (10分钟)

5. 实验室:介绍Kubernetes (不计分)(70分钟)

6. 实验室-用Docker Compose和Locust进行延迟测试 (不计分)(45分钟)

7. 数据预处理 (10分钟)

8. 第二章课件 (5分钟)

7个练习

1. 模型服务架构 (30分钟)

2. 缩放基础设施 (30分钟)

3. 在线推理 (30分钟)

4. 数据预处理 (30分钟)

5. 批量推理场景 (30分钟)

6. 实验室-机器学习与Apache Beam及TensorFlow (选修,不计分)(30分钟)

7. 使用ETL进行批处理 (3分钟)

第三章:模型管理和交付

本章节共有9个视频 、9个阅读 、5个练习 ,完成时间387分钟。

9个视频

1. 跟踪试验 (9分钟)

2. 用于跟踪试验的工具 (8分钟)

3. 介绍MLOps (11分钟)

4. MLOps 0级 (6分钟)

5. MLOps 1级和2级 (13分钟)

6. 为Orchestrated工作流开发组件 (13分钟)

7. 管理模型版本 (7分钟)

8. 持续交付 (7分钟)

9. 渐进交付 (8分钟)

9个阅读

1. 跟踪试验 (10分钟)

2. MLOps资源 (10分钟)

3. 使用TFX, Kubeflow管道和云搭建的MLOps架构 (10分钟)

4. 实验室-使用TF Serving更新模型版本 (不计分)(40分钟)

5. 机器学习模型管理 (10分钟)

6. 实验室-CI/CD管道与GitHub Actions (不计分)(60分钟)

7. 持续交付 (10分钟)

8. 渐进交付 (10分钟)

9. 第三章课件 (5分钟)

5个练习

1. 机器学习试验管理和工作流自动化 (20分钟)

2. 实验室-介绍KubeFlow管道 (不计分)(30分钟)

3. MLOps方法论 (30分钟)

4. 实验室-开发TFX定制组件 (不计分)(30分钟)

5. 模型管理和部署基础设施 (30分钟)

第四章:模型监控和日志记录

本章节共有13个视频 、8个阅读 、3个练习 ,完成时间200分钟。

13个视频

1. 监控为什么重要 (7分钟)

2. 机器学习的可观察性 (5分钟)

3. 机器学习的监控目标 (4分钟)

4. 日志记录机器学习监控 (7分钟)

5. 追踪机器学习系统 (3分钟)

6. 为什么模型会衰减 (3分钟)

7. 模型衰减检测 (2分钟)

8. 缓和模型衰减的方式 (6分钟)

9. 负责任的AI (10分钟)

10. 针对安全和隐私AI的法律要求 (9分钟)

11. 匿名化和假名化 (4分钟)

12. 遗忘的权利 (9分钟)

13. 课程概述及告别 (1分钟)

8个阅读

1. 在生产系统中监控机器学习模型 (10分钟)

2. 解决模型衰减问题 (10分钟)

3. 负责任的AI (10分钟)

4. GDPR和CCPA (10分钟)

5. 第四章课件 (5分钟)

6. 第四章选读文献 (10分钟)

7. 鸣谢 (1分钟)

8. 欢迎加入DeepLearning.AI中国官方论坛 (10分钟)

3个练习

1. 模型监控和日志记录 (4分钟)

2. 模型衰减 (30分钟)

3. GDPR和隐私 (30分钟)

讲师介绍

Laurence Moroney

AI倡导者,Google

简介:Laurence Moroney是谷歌人工智能倡导组织的负责人,他的愿景是让开发人员更容易获得人工智能,并拓宽每个人的机器学习ML职业道路。他写了几十本编程书籍,最近的一本是O ' reilly的《面向程序员的AI和ML》。Laurence认为MOOC是最好的学习方式之一,并对通过DeepLearning.AI在Coursera上创建TensorFlow Specializations专业课程感到兴奋。在科技事业之外,他还是美国科幻小说作家协会的活跃成员,创作过几本科幻小说、漫画书和一部电影剧本。

Laurence Moroney

AI倡导者,Google

简介:Laurence Moroney是谷歌人工智能倡导组织的负责人,他的愿景是让开发人员更容易获得人工智能,并拓宽每个人的机器学习ML职业道路。他写了几十本编程书籍,最近的一本是O ' reilly的《面向程序员的AI和ML》。Laurence认为MOOC是最好的学习方式之一,并对通过DeepLearning.AI在Coursera上创建TensorFlow Specializations专业课程感到兴奋。在科技事业之外,他还是美国科幻小说作家协会的活跃成员,创作过几本科幻小说、漫画书和一部电影剧本。