メンバー加入日: 2023
Transformer モデルと BERT モデル
Earned 6月 7, 2023 EDT
アテンション機構
Earned 6月 7, 2023 EDT
Encoder-Decoder アーキテクチャ
Earned 6月 6, 2023 EDT
このコースでは、Transformer アーキテクチャと Bidirectional Encoder Representations from Transformers（BERT）モデルの概要について説明します。セルフアテンション機構をはじめとする Transformer アーキテクチャの主要コンポーネントと、それが BERT モデルの構築にどのように使用されているのかについて学習します。さらに、テキスト分類、質問応答、自然言語推論など、BERT を適用可能なその他のタスクについても学習します。このコースの推定所要時間は約 45 分です。
このコースでは、アテンション機構について学習します。アテンション機構とは、ニューラル ネットワークに入力配列の重要な部分を認識させるための高度な技術です。アテンションの仕組みと、アテンションを活用して機械翻訳、テキスト要約、質問応答といったさまざまな ML タスクのパフォーマンスを改善する方法を説明します。
このコースでは、機械翻訳、テキスト要約、質問応答などのシーケンス ツー シーケンス タスクに対応する、強力かつ広く使用されている ML アーキテクチャである Encoder-Decoder アーキテクチャの概要を説明します。Encoder-Decoder アーキテクチャの主要なコンポーネントと、これらのモデルをトレーニングして提供する方法について学習します。対応するラボのチュートリアルでは、詩を生成するための Encoder-Decoder アーキテクチャの簡単な実装を、TensorFlow で最初からコーディングします。