En este curso, se presentan la arquitectura de transformadores y el modelo de Bidirectional Encoder Representations from Transformers (BERT). Aprenderás sobre los componentes principales de la arquitectura de transformadores, como el mecanismo de autoatención, y cómo se usa para crear el modelo BERT. También aprenderás sobre las diferentes tareas para las que puede usarse BERT, como la clasificación de texto, la respuesta de preguntas y la inferencia de lenguaje natural. Tardarás aproximadamente 45 minutos en completar este curso.
En este curso, se brinda un resumen de la arquitectura de codificador-decodificador, una arquitectura de aprendizaje automático importante y potente para realizar tareas de secuencia por secuencia, como las de traducción automática, resúmenes de texto y respuestas a preguntas. Aprenderás sobre los componentes principales de la arquitectura de codificador-decodificador y cómo entrenar y entregar estos modelos. En la explicación del lab, programarás una implementación sencilla de la arquitectura de codificador-decodificador en TensorFlow para generar poemas desde un comienzo.