Maschinelles Lernen in Theorie und Praxis - Vorbesprechung WS20/21 Dr. Michael Schlottke-Lakemper, Christof Czernik 3. Juli 2020 - Vorbesprechung ...

Maschinelles Lernen in Theorie und Praxis
              Vorbesprechung WS20/21

   Dr. Michael Schlottke-Lakemper, Christof Czernik

                    Abteilung Mathematik
              Department Mathematik/Informatik
                     Universität zu Köln

                       3. Juli 2020

                                                      1 / 14

Seminarleitung

         Michael Schlottke-Lakemper   Christof Czernik
                                                         2 / 14

Selbstfahrende Autos auf Basis neuronaler Netze

                                                    Modellierung der Umgebung
   Objekterkennung (Quelle: Darknet/Karol Majek).   (Quelle: The Verge/Waymo).

                                                                                 3 / 14

“Künstliche Intelligenz” besiegt menschlichen Spieler in Go

   Wettbewerb “AlphaGo” gegen Lee Sedol
   (Quelle: Digitaltrends/DeepMind).

                                               Film “AlphaGo“ (Quelle: IMDB).

                                                                                4 / 14

Deepfakes: Nicolas Cage als der ultimative Schauspieler

   Nicolas Cage als der Don Corleone   Nicolas Cage als alle X-Men
   (Quelle: John Rieber).              (Quelle: John Rieber).

                                                                     5 / 14

The elephant in the room

                   Ohne Elefant.     Mit Elefant.

   Quelle: Rosenfeld et al. (2018)

                                                    6 / 14

Ziel des Seminars: Implementierung eines künstlichen neuronalen Netzes

   Handgeschriebene Zahlen und Buchstaben
   (Quelle: Wikipedia/MNIST).

                                            Kleidungsstücke (Quelle: Zalando).

                                                                                 7 / 14

Seminaraufbau
  Einführung (November 2020)
    I Überblick zum Seminar
    I Einführung in das Programmieren mit Python

  Vorträge (November 2020 – Februar 2021)
    I Präsentation der erarbeiteten Themen im Team

  Durchführung Programmierprojekte (ab ca. Dezember 2020)
    I Parallel zu Vorträgen: Programmierung eines künstlichen neuronalen Netzes im Team
    I Wöchentlicher Termin: Unterstützung bei Implementierung, Fragestunde

  Präsentation Programmierprojekte (Februar 2020/Semesterende)
    I Vorstellung der Ergebnisse aller Gruppen an gemeinsamem Termin
                                                                                          8 / 14

Themenübersicht

  1. Grundlagen                                  2. Künstliche neuronale Netze
    I Grundlagen des maschinellen Lernens          I Aufbau aus künstlichen Neuronen
    I Overfitting, Hyperparameter, Validierung     I Gradientenverfahren & Backpropagation
    I Regularisierung                              I Convolutional Neural Networks
    I Reinforcement Learning                       I Recurrent Neural Networks
    I Unsupervised Learning                        I Deep Generative Models

                     3. Praxis und Anwendungen
                       I Methoden für die Praxis
                       I Risiken und Nebenwirkungen
                       I Programmbibliotheken
                       I Beispiele aus der Anwendung
                         (z.B. Physics-informed machine learning etc.)
                                                                                             9 / 14

Zielgruppe und Voraussetzungen

   Zielgruppe: Vor allem Studierende. . .        Voraussetzungen
    I im Bachelorstudium.                          I Erste Progammierkenntnisse und
    I mit geringen Vorkenntnissen in                 Motivation selbständig Python zu
      Programmierung und maschinellem                erlernen
      Lernen.                                      I Englischkenntnisse für das Verständnis
    I mit Interesse an anwendungsbezogenen           wissenschaftlicher Texte
      Themen und Teamarbeit.                       I Analysis I, Lineare Algebra I

   Studierende im Masterstudium
    I Teilnahme prinzipiell möglich (u.a. abhängig von Anmeldezahlen)
    I Anspruchsvollere Themen (z.B. GAN, PIML)
    I Ggf. zusätzliche Fragestellungen im Programmierprojekt

                                                                                              10 / 14

Organisation

   Gruppenbildung und Themenvergabe
    I Bekanntgabe der Projektteams und Vortragsthemen: Mitte August
    I Zu jedem Thema: individuelle Literaturempfehlung

   Seminar
    I Zeitraum: dienstags, 12 Uhr – 13:30 Uhr (voraussichtlich 03.11.20 – 09.02.21)
    I Ort: Zoom-Meeting
    I Material & Kommunikation: via ILIAS, Zoom und Chat (z.B. Slack)

                                                                                      11 / 14

Anforderungen und Bewertung

   Anforderungen und Bewertung
    I Durchführung des Programmierprojekts in Python
    I Präsentation des Vortragsthemas und der KNN-Ergebnisse (mit Latex/Beamer)
    I Digitale Abgabe: Vortrag (inkl. Feedback!) und Programmcode
    I Anwesenheitspflicht
    I Bewertung basierend auf Vortrag (Seminarthema + Programmierprojekt)

                                                                                  12 / 14

Anmeldung zum Seminar
  Anmeldeverfahren
   I Anmeldezeitraum: bis 15.07.20 (Mittwoch)
   I Verbindliche Anmeldung per Email an aggassner@math.uni-koeln.de
   I Rückmeldung zur Platzvergabe per Email bis Montag, 20.07.19

  Email zur Anmeldung (Betreff: “Anmeldung Seminar ML WS20/21”)
  Name: Emmy Noether
  Matrikelnummer: 00000007
  Studienabschnitt: Bachelor
  Projektpartner*in: Marie Curie (optional, verbessert Zulassungschance)
  Themengebiet 1: Grundlagen/KNN/Praxis (optional)
  Themengebiet 2: Grundlagen/KNN/Praxis (optional)

  Webseite
  www.mi.uni-koeln.de/NumSim/seminar-maschinelles-lernen
                                                                           13 / 14

Quellen
    1. Darknet/Karol Majek: 4K YOLO COCO Object Detection #1, Karol Majek, aufgerufen
       am 29. Juni 2020. https://youtu.be/yQwfDxBMtXg?t=326
    2. The Verge/Waymo: “‘Jaywalk with median”, Waymo, aufgerufen am 29. Juni 2020.
       https://www.theverge.com/2018/5/9/17307156/
       google-waymo-driverless-cars-deep-learning-neural-net-interview
    3. Digitaltrends/DeepMind: aufgerufen am 29. Juni 2020.
       https://www.digitaltrends.com/cool-tech/deepmind-hanabi-playing-ai/
    4. IMDB: AlphaGo, 2017, aufgerufen am 29. Juni 2020.
       https://www.imdb.com/title/tt6700846/
    5. John Rieber: aufgerufen am 29. Juni 2020. https:
       //johnrieber.com/2018/02/15/nicolas-cage-in-every-movie-ever-made-
       troubling-deep-fake-technology-makes-nicolas-cage-the-busiest-star-in-film/
    6. Rosenfeld et al. (2018): Amir Rosenfeld, Richard Zemel, John K. Tsotsos, The
       Elephant in the Room, 2018. arXiv:1808.03305.
    7. Wikipedia/MNIST: Josef Steppan, CC BY-SA 4.0,
       https://commons.wikimedia.org/w/index.php?curid=64810040
    8. Zalando: Han Xiao, Kashif Rasul, Roland Vollgraf, Fashion-MNIST: a Novel Image
       Dataset for Benchmarking Machine Learning Algorithms, 2017. arXiv:1708.07747
                                                                                  14 / 14