Foundations of Deep Learning III: Advanced Topics

Der Kurs setzt dort an, wo Teil III aufgehört hat. Er behandelt fortgeschrittene Themen im Deep Learning, beginnend mit generativen Modellen wie dem Variational Autoencoder, GANs und Diffusionsmodellen. Anschließend werden Methoden zur Quantifizierung und zum Umgang mit Unsicherheiten im Deep Learning besprochen, was ein entscheidender Aspekt für den Aufbau robuster, verlässlicher und vertrauenswürdiger Modelle ist. Das abschließende Kapitel behandelt die Hyperparameter-Optimierung (HPO), einen zentralen Prozess zur Verbesserung der Generalisierungsleistung und Effizienz von Deep-Learning-Modellen.

• Einführung in generative Modelle wie VAEs und GANs.
• Verständnis darüber, wie moderne Diffusionsmodelle funktionieren.
• Warum Unsicherheit im Deep Learning benötigt wird und wie man sie quantifiziert.
• Einführung in HPO-Methoden für Deep Learning.

Nach Abschluss des Kurses werden Sie in der Lage sein:

• den Funktionsmechanismus von Autoencodern, Regularisierungs-Autoencoder-Techniken (z. B. Sparsity, Denoising) sowie den Trainingsmechanismus von GANs zu erklären.
• den Funktionsmechanismus von Diffusionsmodellen zu erläutern.
• die Bedeutung des Studiums und der Verwendung von Unsicherheiten im Deep Learning zu motivieren sowie Techniken wie Variational Inference und MCMC zu beschreiben.
• das Problem der Hyperparameter-Optimierung zu definieren, Blackbox-Methoden für HPO sowie Methoden zur Beschleunigung und den Multi-Fidelity-Ansatz zur HPO zu beschreiben.

• Gute Kenntnisse in Linearer Algebra
• Gute Kenntnisse in Wahrscheinlichkeitstheorie
• Gute Kenntnisse im Maschinellen Lernen
• Im Kurs vorgestellte Konzepte: Grundlagen des Deep Learning I: Basiswissen
• Im Kurs vorgestellte Konzepte: Foundations of Deep Learning II: Architectures & Methodology