序列模型

本课程已是2021最新版。
本课程将教您如何为自然语言、音频和其他序列数据建立模型。多亏了深度学习,序列算法的应用效果也已趋于成熟,这使得语音识别、音乐合成、聊天机器人、机器翻译、自然语言理解等领域的众多令人兴奋的应用成为可能。

您将:
  •  了解如何构建和训练递归神经网络(RNN)及常用的变体,如GRUs和LSTMs。
  •  能够将序列模型应用于自然语言问题,包括文本合成。
  •  能够将序列模型应用到音频应用中,包括语音识别和音乐合成。

这是深度学习专业课的第五门,也是最后一门课程。Deeplearning.ai还与英伟达深度学习研究所在课程5-序列模型的课程制作中进行合作,提供使用深度学习的机器翻译编程作业。您将有机会构建一个具有前沿、行业相关内容的深度学习项目。

课程大纲

第一章:循环神经网络

本章节共有12个视频 、2个阅读 、4个练习 ,完成时间145分钟。

12个视频

1. 为什么用序列模型? (3分钟)

2. 注释 (9分钟)

3. 循环神经网络模型 (17分钟)

4. 通过时间的反向传播 (6分钟)

5. 不同类型的RNNs (10分钟)

6. 语言模型和序列生成 (12分钟)

7. 对新序列的采样 (9分钟)

8. RNNs的梯度消失 (6分钟)

9. 门控循环单元(GRU) (17分钟)

10. 长短期记忆(LSTM) (10分钟)

11. 双向RNN (8分钟)

12. 深度RNNs (5分钟)

2个阅读

1. 2021版更新说明

2. 第一章课程讲义 (3分钟)

4个练习

1. 循环神经网络 (30分钟)

2. 逐步建立递归神经网络

3. 恐龙岛-字符级语言建模

4. LSTM的爵士即兴演奏

第二章:自然语言处理和词嵌入

本章节共有10个视频 、1个阅读 、3个练习 ,完成时间135分钟。

10个视频

1. 词表示 (10分钟)

2. 使用词嵌入 (9分钟)

3. 词嵌入的性能 (12分钟)

4. 矩阵嵌入 (6分钟)

5. 学习词嵌入 (10分钟)

6. 词转换成向量形式 (13分钟)

7. 负采样 (12分钟)

8. GloVe 词向量 (11分钟)

9. 情感分类 (8分钟)

10. 词嵌入除偏 (11分钟)

1个阅读

1. 第二章课程讲义 (3分钟)

3个练习

1. 自然语言处理和词嵌入 (30分钟)

2. 对词向量的操作-除偏

3. 情绪化

第三章:序列模型和注意力机制

本章节共有11个视频 、2个阅读 、3个练习 ,完成时间137分钟。

11个视频

1. 基础模型 (6分钟)

2. 选择最有可能的句子 (9分钟)

3. 集束搜索 (12分钟)

4. 细化集束搜索 (11分钟)

5. 集束搜索中的错误分析 (10分钟)

6. Bleu分数(选修) (16分钟)

7. 注意力模型直觉 (10分钟)

8. 注意力模型 (12分钟)

9. 语音识别 (9分钟)

10. 触发词检测 (5分钟)

11. 结论及感谢 (3分钟)

2个阅读

1. Workera的人工智能技能标准化测试 (1分钟)

2. 第三章课程讲义 (3分钟)

3个练习

1. 序列模型和注意力机制 (30分钟)

2. 注意神经机器翻译

3. 触发词检测

第四章:Transformer网络

本章节共有5个视频 、2个阅读 、5个练习 ,完成时间206分钟。

5个视频

1. Transformer网络直觉 (6分钟)

2. 自注意力机制 (12分钟)

3. 多头注意力机制 (9分钟)

4. Transformer网络 (14分钟)

5. 结语和感谢 (3分钟)

2个阅读

1. PDF讲稿 (9分钟)

2. 第四章课程讲义 (3分钟)

5个练习

1. Transformers (30分钟)

2. 使用TensorFlow实现Transformers (30分钟)

3. Transformer预处理 (不计分)(30分钟)

4. Transformer网络应用:命名实体识别 (不计分)(30分钟)

5. Transformer网络应用: 问答 (不计分)(30分钟)

讲师介绍

Andrew Ng ( 吴恩达 )

人工智能领域的全球领导者、Coursera的联合创始人及董事长

简介:课程由人工智能领域的全球领导者、Coursera的联合创始人及董事长Andrew Ng(吴恩达)进行教授。吴恩达博士也是deeplearning.ai的CEO和创始人。同时,他也是斯坦福大学计算机科学系的客座教授。 他曾在百度担任首席科学家,负责推动公司的全球人工智能战略和基础设施建设。他也曾是谷歌大脑团队的创始领导人。吴恩达博士在机器学习、机器人和相关领域撰写或合作撰写了超过100篇研究论文。他拥有卡耐基梅隆大学、麻省理工学院和加州大学伯克利分校的学士,硕士及博士学位。

Kian Katanforoosh

斯坦福大学计算机系讲师, Workera CEO及创始人

Younes Bensouda Mourri

斯坦福大学计算机系讲师

Andrew Ng ( 吴恩达 )

人工智能领域的全球领导者、Coursera的联合创始人及董事长

简介:课程由人工智能领域的全球领导者、Coursera的联合创始人及董事长Andrew Ng(吴恩达)进行教授。吴恩达博士也是deeplearning.ai的CEO和创始人。同时,他也是斯坦福大学计算机科学系的客座教授。 他曾在百度担任首席科学家,负责推动公司的全球人工智能战略和基础设施建设。他也曾是谷歌大脑团队的创始领导人。吴恩达博士在机器学习、机器人和相关领域撰写或合作撰写了超过100篇研究论文。他拥有卡耐基梅隆大学、麻省理工学院和加州大学伯克利分校的学士,硕士及博士学位。

Kian Katanforoosh

斯坦福大学计算机系讲师, Workera CEO及创始人

Younes Bensouda Mourri

斯坦福大学计算机系讲师