Mei Sasaki

本课程向您介绍 Transformer 架构和 Bidirectional Encoder Representations from Transformers (BERT) 模型。您将了解 Transformer 架构的主要组成部分，例如自注意力机制，以及该架构如何用于构建 BERT 模型。您还将了解可以使用 BERT 的不同任务，例如文本分类、问答和自然语言推理。完成本课程估计需要大约 45 分钟。

本课程简要介绍了编码器-解码器架构，这是一种功能强大且常见的机器学习架构，适用于机器翻译、文本摘要和问答等 sequence-to-sequence 任务。您将了解编码器-解码器架构的主要组成部分，以及如何训练和部署这些模型。在相应的实验演示中，您将在 TensorFlow 中从头编写简单的编码器-解码器架构实现代码，以用于诗歌生成。

本课程将向您介绍注意力机制，这是一种强大的技术，可令神经网络专注于输入序列的特定部分。您将了解注意力的工作原理，以及如何使用它来提高各种机器学习任务的性能，包括机器翻译、文本摘要和问题解答。