Date d'abonnement : 2024
Modèles Transformer et modèle BERT
Earned juil. 25, 2024 EDT
Architecture encodeur/décodeur
Earned juil. 25, 2024 EDT
Ce cours présente l'architecture Transformer et le modèle BERT (Bidirectional Encoder Representations from Transformers). Vous découvrirez quels sont les principaux composants de l'architecture Transformer, tels que le mécanisme d'auto-attention, et comment ils sont utilisés pour créer un modèle BERT. Vous verrez également les différentes tâches pour lesquelles le modèle BERT peut être utilisé, comme la classification de texte, les questions-réponses et l'inférence en langage naturel. Ce cours dure environ 45 minutes.
Ce cours offre un aperçu de l'architecture encodeur/décodeur, une architecture de machine learning performante souvent utilisée pour les tâches "seq2seq", telles que la traduction automatique, la synthèse de texte et les questions-réponses. Vous découvrirez quels sont les principaux composants de l'architecture encodeur/décodeur, et comment entraîner et exécuter ces modèles. Dans le tutoriel d'atelier correspondant, vous utiliserez TensorFlow pour coder une implémentation simple de cette architecture afin de générer un poème en partant de zéro.