Foundations of Deep Learning II: Architectures & Methodology

Dieser Kurs setzt dort an, wo Teil I aufgehört hat. Er bietet eine Einführung in die grundlegenden Typen von neuronalen Netzwerken, die im Deep Learning verwendet werden, wie zum Beispiel Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs) und Transformers. Das abschließende Kapitel führt in das Konzept des selbstüberwachten Lernens ein und behandelt außerdem einige praktische Methoden zur Gestaltung und Implementierung tiefer Modelle, zusammen mit bewährten Verfahren und gängigen Architekturen.

• Einführung in Convolutional Neural Networks
• Einführung in Recurrent Neural Networks
• Einführung in Attention und Transformers
• Einführung in praktische Methoden des Deep Learnings

Nach Abschluss des Kurses werden Sie in der Lage sein:

• zu erklären, was ein Convolutional Neural Network ist und wie es funktioniert, einschließlich der verschiedenen Arten von sonstigen Faltungen.
• zu erklären, was ein Recurrent Neural Networks ist, dessen Rechengraphen zu beschreiben, die Hauptidee der Backpropagation durch die Zeit zu erläutern, zu erklären, wie sich ein LSTM von einem einfachen RNN unterscheidet und welche Funktionen die Gating-Mechanismen in einem LSTM erfüllen, sowie die Hauptideen hinter GRUs und Echo State Networks zu erklären.
• den Attention-Mechanismus und die Transformer-Architektur, deren wichtigste Komponenten wie die Self-Attention-Schichten und die Encoder-Decoder-Struktur zu erklären.
• verschiedene Normalisierungstechniken, Transferlernen und selbstüberwachtes Lernen zu beschreiben, sowie praktische Gestaltungsüberlegungen und Debugging-Strategien darzulegen.

• Gute Kenntnisse der linearen Algebra
• Gute Kenntnisse der Wahrscheinlichkeitstheorie
• Gute Kenntnisse des maschinellen Lernens
• Im Kurs behandelte Konzepte: Grundlagen des Deep Learning I: Basiswissen