本课程向您介绍 Transformer 架构和 Bidirectional Encoder Representations from Transformers (BERT) 模型。您将了解 Transformer 架构的主要组成部分,例如自注意力机制,以及该架构如何用于构建 BERT 模型。您还将了解可以使用 BERT 的不同任务,例如文本分类、问答和自然语言推理。完成本课程估计需要大约 45 分钟。
本课程简要介绍了编码器-解码器架构,这是一种功能强大且常见的机器学习架构,适用于机器翻译、文本摘要和问答等 sequence-to-sequence 任务。您将了解编码器-解码器架构的主要组成部分,以及如何训练和部署这些模型。在相应的实验演示中,您将在 TensorFlow 中从头编写简单的编码器-解码器架构实现代码,以用于诗歌生成。