Member since 2023
Transformer Models and BERT Model - בעברית
Earned יונ 7, 2023 EDT
Attention Mechanism - בעברית
Earned יונ 7, 2023 EDT
Encoder-Decoder Architecture - בעברית
Earned יונ 6, 2023 EDT
בקורס הזה נציג את הארכיטקטורה של טרנספורמרים ואת המודל של ייצוגים דו-כיווניים של מקודד מטרנספורמרים (BERT). תלמדו על החלקים השונים בארכיטקטורת הטרנספורמר, כמו מנגנון תשומת הלב, ועל התפקיד שלו בבניית מודל BERT. תלמדו גם על המשימות השונות שאפשר להשתמש ב-BERT כדי לבצע אותן, כמו סיווג טקסטים, מענה על שאלות והֶקֵּשׁ משפה טבעית. נדרשות כ-45 דקות כדי להשלים את הקורס הזה.
בקורס נלמד על מנגנון תשומת הלב, שיטה טובה מאוד שמאפשרת לרשתות נוירונים להתמקד בחלקים ספציפיים ברצף הקלט. נלמד איך עובד העיקרון של תשומת הלב, ואיך אפשר להשתמש בו כדי לשפר את הביצועים במגוון משימות של למידת מכונה, כולל תרגום אוטומטי, סיכום טקסט ומענה לשאלות.
בקורס הזה לומדים בקצרה על ארכיטקטורת מקודד-מפענח, ארכיטקטורה עוצמתית ונפוצה ללמידת מכונה שמשתמשים בה במשימות של רצף לרצף, כמו תרגום אוטומטי, סיכום טקסט ומענה לשאלות. תלמדו על החלקים השונים בארכיטקטורת מקודד-מפענח, איך לאמן את המודלים האלה ואיך להשתמש בהם. בהדרכה המפורטת המשלימה בשיעור ה-Lab תקודדו ב-TensorFlow תרחיש שימוש פשוט בארכיטקטורת מקודד-מפענח: כתיבת שיר מאפס.