Deep Neural Networks

Dozent	Prof. Dr. Andreas Zell
Sprechstunde	Mi. 13:00 - 14:30 Uhr
Zeit	Di. 14:15 - 16:00 und 16:15 - 18 Uhr
Umfang	3V+1Ü (6 LP)
Beginn	Di. 17.04.2018
Ort	Sand 6/7, Hörsaal 1 (F119)
Turnus	jährlich im Sommersemester
Klausur	vermutl. Di. 31.7.2018, 14:15 - 16:00 Uhr

Übungen zu dieser Vorlesung

Im Campus-Vorlesungsverzeichnis

Beschreibung:

In der Vorlesung werden die wichtigsten Konzepte und Modelle von "tiefen neuronalen Netzen" vermittelt, angelehnt an das Lehrbuch "Deep Learning" von Goodfellow, Bengio und Courville. Diese Netzmodelle sind derzeit Spitzenreiter in der Erkennungsleistung für viele Probleme des maschinellen Lernens, von Objekterkennung, Bildsegmentation, Spracherkennung, Handschrifterkennung bis zur Zeitreihenanalyse von Finanzdaten. Sie werden von nahezu allen Autoherstellern für Fahrerunterstützungssysteme und zum autonomen Fahren eingesetzt, von Internet-Firmen zum semantischen Labelling von Bilddaten und in mobilen Assistenten wie Siri, Cortana oder Google Now.

Nach einer Einführung in das Thema werden zuerst mathematische Grundlagen behandelt: Lineare Algebra, Wahrscheinlichkeitsrechnung, Numerische Grundlagen und Grundlagen des maschinellen Lernens. Danach werden tiefe neuronale Netze und Verfahren wie Backpropagation behandelt, anschließend Regularisierungstechniken für tiefe neuronale Netze (die deren Generalisierungsleistung auf unbekannten Testdaten verbessern). Es folgen Optimierungsverfahren zum Training tiefer neuronaler Netze und ein Kapitel über sog. Convolutional Neural Networks (CNNs). Geplant sind weiter Kapitel über Rekurrente Netze, Methodik in der Praxis und ein Anwendungskapitel. Am Ende werden konkrete Architekturen tiefer neuronaler Netze noch speziell besprochen, z.B. AlexNet, GoogleNet, Yolo, Residual Networks, DenseNet.

Die Vorlesung deckt ca. die Hälfte des 800-seitigen Lehrbuchs ab und hält sich sehr eng an dieses.

In der Übung werden die in der Vorlesung erworbenen theoretischen Kenntnisse durch Lösung praktischer Aufgaben vertieft, dabei soll neben eigenen Programmieraufgaben in Python die Softwareumgebung Google Tensorflow eingesetzt werden.

Die Vorlesung wurde im SS 2017 zum ersten Mal gehalten, daher sind noch Fehler im Skript zu erwarten.

Voraussetzungen:

Die Vorlesung richtet sich an Masterstudenten!
Es werden gute Mathematikkenntnisse (mindestens "gut" in Mathematik I - III) vorausgesetzt.
Der Stoff ist sehr umfangreich und enthält viele Formeln (und zu viel Text auf den Folien).
Python-Programmierkenntnisse werden vorrausgesetzt.

Anmeldung (Verpflichtend):

Über ILIAS: Vorlesung Deep Neural Networks

Literatur:

• Skriptum der Vorlesung (wird jeweils als PDF vor der Vorlesung in Ilias zur Verfügung gestellt)
• Ian Goodfellow, Yoshua Bengio, Aaron de Courville: Deep Learning, MIT Press, 2016.
  Das Buch ist im WWW online verfügbar, siehe http://www.deeplearningbook.org/

Diese Seite drucken