改进深度神经网络

本课程已是2021最新版。
本课程将教您如何让深度学习发挥“魔法”。深度学习过程不是一个黑匣子,您将理解驱动性能的原因,以及如何能够更系统地获得良好的结果。您还将学习TensorFlow。

通过3周的学习,您将:
  •  了解构建深度学习应用的行业最佳实践。
  •  能够有效地使用常用神经网络的“技巧”,包括初始化、正规则方法、批标准化,梯度检查。
  •  能够实现和应用各种优化算法,如mini-batch梯度下降法、动量、RMSprop和Adam,检查他们的集合。
  •  了解深度学习时代的最佳实践,如何建立训练/开发/测试集,并分析偏差/方差。
  •  能够在TensorFlow中实践神经网络。

课程大纲

第一章:深度学习的实践领域

本章节共有15个视频 、2个阅读 、4个练习 ,完成时间338分钟。

15个视频

1. 训练/开发/测试集 (12分钟)

2. 偏见/方差 (8分钟)

3. 机器学习的基本配方 (6分钟)

4. 正则化 (9分钟)

5. 为什么正则化可以减少过拟合? (7分钟)

6. 正规化抛弃 (9分钟)

7. 理解抛弃 (7分钟)

8. 其他的正则化方法 (8分钟)

9. 归一化输入 (5分钟)

10. 梯度消失/爆炸 (6分钟)

11. 深度网络权值初始化 (6分钟)

12. 梯度的数值近似 (6分钟)

13. 梯度检查 (6分钟)

14. 梯度检查实施须知 (5分钟)

15. Yoshua Bengio访谈 (选修)(25分钟)

2个阅读

1. 2021版更新说明

2. 第一章课程讲义 (3分钟)

4个练习

1. 深度学习的实践领域 (30分钟)

2. 初始化 (60分钟)

3. 正则化 (60分钟)

4. 梯度检查 (60分钟)

第二章:优化算法

本章节共有11个视频 、1个阅读 、2个练习 ,完成时间150分钟。

11个视频

1. 小批量梯度下降 (11分钟)

2. 理解小批量梯度下降 (11分钟)

3. 指数加权平均 (5分钟)

4. 理解指数加权平均 (9分钟)

5. 指数加权平均数的偏差修正 (4分钟)

6. 动量梯度下降 (9分钟)

7. RMSprop (7分钟)

8. 适应性矩估计(Adam)算法优化 (7分钟)

9. 学习速率衰减 (6分钟)

10. 局部最优解问题 (5分钟)

11. 林元庆访谈 (选修)(13分钟)

1个阅读

1. 第二章课程讲义 (3分钟)

2个练习

1. 优化算法 (30分钟)

2. 优化 (30分钟)

第三章:超参数调整、批量归一化和编程框架

本章节共有11个视频 、1个阅读 、2个练习 ,完成时间131分钟。

11个视频

1. 参数调整过程 (7分钟)

2. 使用适当的标准来选择超参数 (8分钟)

3. 实践中的超参数调整:熊猫vs.鱼子酱 (6分钟)

4. 网络中的正常化激活 (8分钟)

5. 将Batch Norm拟合到神经网络中 (12分钟)

6. 为什么Batch Norm有效? (11分钟)

7. 测试时的Batch Norm (5分钟)

8. Softmax回归 (11分钟)

9. 训练一个softmax分类器 (10分钟)

10. 深度学习框架 (4分钟)

11. TensorFlow (16分钟)

1个阅读

1. 第三章课程讲义 (3分钟)

2个练习

1. 超参数调整、批量归一化和编程框架 (30分钟)

2. Tensorflow

讲师介绍

Andrew Ng ( 吴恩达 )

人工智能领域的全球领导者、Coursera的联合创始人及董事长

简介:课程由人工智能领域的全球领导者、Coursera的联合创始人及董事长Andrew Ng(吴恩达)进行教授。吴恩达博士也是deeplearning.ai的CEO和创始人。同时,他也是斯坦福大学计算机科学系的客座教授。 他曾在百度担任首席科学家,负责推动公司的全球人工智能战略和基础设施建设。他也曾是谷歌大脑团队的创始领导人。吴恩达博士在机器学习、机器人和相关领域撰写或合作撰写了超过100篇研究论文。他拥有卡耐基梅隆大学、麻省理工学院和加州大学伯克利分校的学士,硕士及博士学位。

Kian Katanforoosh

斯坦福大学计算机系讲师, Workera CEO及创始人

Younes Bensouda Mourri

斯坦福大学计算机系讲师

Andrew Ng ( 吴恩达 )

人工智能领域的全球领导者、Coursera的联合创始人及董事长

简介:课程由人工智能领域的全球领导者、Coursera的联合创始人及董事长Andrew Ng(吴恩达)进行教授。吴恩达博士也是deeplearning.ai的CEO和创始人。同时,他也是斯坦福大学计算机科学系的客座教授。 他曾在百度担任首席科学家,负责推动公司的全球人工智能战略和基础设施建设。他也曾是谷歌大脑团队的创始领导人。吴恩达博士在机器学习、机器人和相关领域撰写或合作撰写了超过100篇研究论文。他拥有卡耐基梅隆大学、麻省理工学院和加州大学伯克利分校的学士,硕士及博士学位。

Kian Katanforoosh

斯坦福大学计算机系讲师, Workera CEO及创始人

Younes Bensouda Mourri

斯坦福大学计算机系讲师