Mihir Ahlawat

這堂課程將說明變換器架構，以及基於變換器的雙向編碼器表示技術 (BERT) 模型，同時帶您瞭解變換器架構的主要組成 (如自我注意力機制) 和如何用架構建立 BERT 模型。此外，也會介紹 BERT 適用的各種任務，像是文字分類、問題回答和自然語言推論。課程預計約 45 分鐘。

本課程概要說明解碼器與編碼器的架構，這種強大且常見的機器學習架構適用於序列對序列的任務，例如機器翻譯、文字摘要和回答問題。您將認識編碼器與解碼器架構的主要元件，並瞭解如何訓練及提供這些模型。在對應的研究室逐步操作說明中，您將學習如何從頭開始使用 TensorFlow 寫程式，導入簡單的編碼器與解碼器架構來產生詩詞。