Artificial Intelligence - Berner Fachhochschule
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
–
Certificate of Advanced Studies
Artificial Intelligence
Die künstliche Intelligenz dringt in alle Bereiche des
privaten und beruflichen Alltags ein. Lernen Sie in diesem
CAS die modernsten Methoden kennen, um Anwendungen
in Business, Dienstleistungen, Technologie und Industrie
zu entwickeln. Der Schwerpunkt liegt auf selbstlernenden
Systemen mit den Methoden des Deep and Reinforcement
Learning. Bei den praktischen Frameworks liegt ein
Schwerpunkt auf Tensorflow 2.0.
ti.bfh.ch/cas-aiInhaltsverzeichnis
1 Umfeld 4
2 Zielpublikum 4
3 Ausbildungsziele 4
4 Voraussetzungen 4
5 Durchführungsort 4
6 Kompetenzprofil 5
7 Kursübersicht 6
8 Didaktik, Präsenz, Distance Learning 6
9 Kursthemen 7
10 Kompetenznachweis 9
11 Organisation 9
12 Anhang – Übungen und Projekte 10
12.1 Deep Learning - Übungen 10
12.2 Reinforcement Learning - Übungen 11
Stand: 21.10.2021
Study Guide CAS Artificial Intelligence 2 / 111 Umfeld
Künstliche Intelligenz ist die Fähigkeit, menschliches Verhalten in Programmen und Maschinen
nachzuahmen. Eine grobe Einteilung von Informatiksystemen der künstlichen Intelligenz ist etwa wie
folgt:
– Regelbasierte Systeme, welche nach logischen Regeln Entscheide fällen.
– Machine Learning Systeme, welche aus vorgegebenen Daten ein Verhalten oder eine
Kategorisierung trainieren und anschliessend auf neue Daten anwenden.
– Selbstlernende Systeme, welche anhand von Zielvorgaben selbständig und laufend ein Verhalten
erlernen, anwenden und neu adaptieren.
Der Fokus dieses CAS liegt auf den selbstlernenden Systemen, und verwendet dazu unter anderem die
Methoden Reinforcement Learning, Q-Learning, Neuronale Netze in verschiedenen Ausprägungen wie
Perzeptrons, convolutional and recurrent Networks usw. Spannend ist, dass diese Art des Lernens
auch auf klassische Probleme wie Prognosen mit Zeitreihen und Objekterkennung mit grossem Erfolg
angewendet werden kann.
2 Zielpublikum
– Fachexpertinnen, Fachexperten aus IT, Industrie und Business, die moderne AI-Techniken
kennenlernen und anwenden möchten.
– Informatikerinnen und Informatiker, die AI-Techniken in neue Applikationen, IT-Dienstleistungen
und IT-Landschaften integrieren wollen.
3 Ausbildungsziele
Dieses CAS befähigt Sie zur professionellen Anwendung und Implementierung von Neuronalen
Netzen, Deep und Reinforcment Learning in verschiedensten Anwendungsbereichen, sowie zur
Mitarbeit in Teams, die AI-Methoden einsetzen.
4 Voraussetzungen
– Sie bringen ein Bachelorstudium mit, typischerweise in Informatik-, Ökonomie- oder Engineering-
Disziplinen und können sich in eine algorithmische Denkweise vertiefen.
– Notwendig sind Vorkenntnisse in Statistik und Datenanalyse, entsprechend etwa dem Stoff des
CAS Datenanalyse.
– Sie können sich mathematische Gesetzmässigkeiten aneignen und anwenden.
– Sie haben Erfahrung mit einer Programmiersprache und können einfache Skripte in der Sprache
Python schreiben und ausführen (z.B. in einer Entwicklungsumgebung wie Anaconda/Jupyter
Notebooks).
– Kenntnisse in den Methoden des überwachten und nicht-überwachten Lernens sind von Vorteil.
Es wird im CAS aber kurz darauf eingegangen.
5 Durchführungsort
Gemäss Angaben auf der Webseite unter www.bfh.ch/cas-ai
Study Guide CAS Artificial Intelligence 3 / 116 Kompetenzprofil Kompetenzstufen 1. Kenntnisse/Wissen 2. Verstehen 3. Anwenden 4. Analyse 5. Synthese 6. Beurteilung Study Guide CAS Artificial Intelligence 4 / 11
7 Kursübersicht Die Kursübersicht und die Kursunterlagen sind weitgehend in Englisch verfasst, die Kurssprache ist überwiegend Deutsch. Themen Tage Einführung in Python 1 Einführung in die AI Grundtechniken 1 Fundamentale Neuronale Netzwerke 1 Convolutional Neural Networks 2 Generative Netzwerke 2 Recurrent Neural Networks 1 Advanced Deep Learning 2 Reinforcement Learning 6 Deep Evolution Strategy für Regression und Klassifizierung 1 Abschlussprojekt 2 Prüfungsvorbereitung 1 Total 20 Das CAS umfasst insgesamt 12 ECTS-Credits. Für die einzelnen Kurse ist entsprechend Zeit für Selbststudium, Prüfungsvorbereitung etc. einzurechnen. 8 Didaktik, Präsenz, Distance Learning Didaktisch ist das CAS geprägt von einer hohen Interaktion und einer engen Abfolge von Inputs zu Theorie, Methoden, Aufgaben, Fallstudien und Übungen. Dieses CAS ist intensiv übungsorientiert. Die Hands-On Übungen und Praktika werden hauptsächlich mit Google Colab und Python bearbeitet. Die Durchführung OnSite oder Remote ist noch offen. Geplant ist, einige Tage OnSite durchzuführen, die anderen Remote. Anpassungen aufgrund der Covid-19 Situation und aufgrund von Abmachungen mit den Studierenden bleiben möglich. Study Guide CAS Artificial Intelligence 5 / 11
9 Kursthemen
Die Themen dieses CAS werden in Theorie und Praxis sehr interaktiv vermittelt. Die Kursthemen sind
in 19 Themenblöcke aufgeteilt:
Block Nr Thema und Programm
Einführung in Python
1
Programmierung, Google Colab, Anaconda und PyCharm (inkl. Einrichtung)
Einführung in die AI Grundtechniken
2 Gradient Descent, partielle Ableitungen, Matrix Algebra, Tensoren, Übersicht AI
Frameworks TensorFlow und Pytorch. Praxis: Programmierung von Gradient
Descent
Fundamentale Neuronale Netzwerke
3 Perceptron, Dense Networks und Autoencoder
Praxis: Programmierung von Perceptron und Performace-Vergleich mit modernen
Dense Networks, Anomaly Detection mit Autoencoder, Tensorboard
Convolutional Neuronal Networks (CNN)
4 Geometrische Erklärung von Convolution. Praxis: Image-Klassifizierung mit CNN
Netwzwerken
Transfer-Learning Methoden für CNN
5 Praxis: Image-Klassifizierung mit CNN Netwzwerken, die die Erfahrung grossen
bekannten Netzwerken (wie VGG16) nutzen
Generative Netzwerke I
6 Variational Autoencoders. Praxis: Anomaly Detection, Tabular- und Image-Daten
Generierung
Generative Netzwerke II
7 Generative Adversarial Networks. Praxis: Generierung von künstlichen Bildern aus
Datensätzen und ATARI Spielen
Recurrent Neuronal Networks und LSTM
8 anschaulich dargestellter Aufbau und Anwendung. Praxis: Programmierung von
Recurrent- und LSTM- Netzwerken und deren Anwendung für Forecasting und
Klassifizierung
Advanced Deep Learning in der Praxis I
9
Uncertainty estimation mit Maximum Log Likelihood Custom Loss Funktion (MLL)
Advanced Deep Learning in der Praxis II
10 Fast Fourier Transforms für Forecasting und Trend-Bestimmung, LSTM Forecasting
nach der Methode von UBER, Kontrolle der Ergebnisse mit Multi-Step Forecasting
Study Guide CAS Artificial Intelligence 6 / 11Einführung in Reinforcement Learning (RL)
11 Markov Theorie, RL Agent, RL Environments, open.ai gym. Unsere erste AI: RL
Baseline Methode Cross Entropy - Praxis: Programmierung und Evaluierung von
Cross Entropy mit CartPole Game Environment
Reinforcement Learning 2
12 Bellman Equation und Q-Value Iteration Algorithm, Tabular Q-Learning
Praxis: Programmierung und Evaluierung mit CartPole Environment.
Reinforcement Learning 3
13 Deep Q-Networks (DQN) - Double DQN-Network mit Dense und CNN Agents
Praxis: Programmierung und Evaluierung mit CartPole Environment und Atari
Video-Spielen.
Reinforcement Learning 4
14 REINFORCE und Advantage Actor Critic (A2C). Praxis: Programmierung und
Evaluierung mit Lunar Lander Environment
Reinforcement Learning 5
15 Neueste Entwicklungen in RL I - Deep Determinitistic Policy Gradient (DDPG) und
Twin Delayed Deep Determinitistic Policy Gradient (TD3) Algorithm
Praxis: Programmierung und Evaluierung mit open.ai gym environments
Reinforcement Learning 6
16 Neueste Entwicklungen in RL II - Soft Actor Critic. Praxis: Programmierung und
Evaluierung mit open.ai gym environments
Deep Evolution Strategy für Regression und Klassifizierung
17 (Algorithmen ohne Gradient Descent). Praxis: Programmierung und Evaluierung
mit den Datasets aus dem Deep Learning Teil des Kurses.
Abschluss-Projekt Reinforcement Learning
18 Algorithmic Trading mit Trend Following Strategie und Reinforcement Learning
Teil 1: Erstellung der eigenen Gym-basierten RL-Umgebung für Trading
Abschluss-Projekt Reinforcement Learning
19 Teil 2: Evaluierung und Performance-Vergleich von besten RL-Methoden: DQN -
A2C - DDPG - TD3.
Study Guide CAS Artificial Intelligence 7 / 1110 Kompetenznachweis
Für die Anrechnung der 12 ECTS-Credits ist das erfolgreiche Bestehen der Qualifikationsnachweise
(Prüfungen, Projektarbeiten) erforderlich, gemäss folgender Aufstellung:
Kompetenznachweis Gewicht Art der Qualifikation Erfolgsquote
Studierende
Übungsaufgaben 5 2 bis 3 Übungsaufgaben mit 0 – 100 %
Bewertung, ev. als
Gruppenarbeiten
Schlussprüfung 5 Open Book, 1-2 Stunden, 0 – 100 %
Textfragen mit Multiple
Choice Antworten,
elektronisch durchgeführt.
Gesamtgewicht / Erfolgsquote 10 0 – 100 %
Der gewichtete Mittelwert der Erfolgsquoten der einzelnen Kompetenznachweise wird in eine Note
zwischen 3 und 6 umgerechnet. Die Note 3 (gemittelte Erfolgsquote weniger als 50%) ist ungenügend,
Die Noten 4, 4.5, 5, 5.5 und 6 (gemittelte Erfolgsquote zwischen 50% und 100%) sind genügend.
11 Organisation
CAS-Leitung:
Prof. Dr. Arno Schmidhauser
Tel: +41 31 848 32 75
E-Mail: arno.schmidhauser@bfh.ch
CAS-Durchführung, Dozent
Ilja Rasin, Data Scientist AI Ingineer
https://ch.linkedin.com/in/iljarasin
CAS-Administration:
René Brack
Tel: +41 31 848 32 42
E-Mail: rene.brack@bfh.ch
Study Guide CAS Artificial Intelligence 8 / 1112 Anhang – Übungen und Projekte
Dieses CAS ist intensiv übungsorientiert. Die Themen der Hands-On Übungen und Praktika sind
nachfolgend dargestellt. Als Übungsumgebung wird hauptsächlich mit Google Colab,Python und
Pycharm gearbeitet.
12.1 Deep Learning - Übungen
1. Introduction to Python and Tools
1. Google Colab, Anaconda und PyCharm (incl. Setup)
2. Python Programming
2. Gradient Descent
1. Gradient Descent for Exponential Function
3. Perceptron, MLP and Autoencoder
1. Perceptron Programming and Performance-Comparison with modern Dense Networks
2. Regression and Classification with Dense Network
3. Anomaly Detection with Autoencoder
4. Tensorboard
5. Save and Load
4. Convolutional Neuronal Networks (CNN))
1. CNN Beginner
2. CNN Advanced
3. Transfer-Learning Method Classic
4. Transfer-Learning Method Fast
5. Generative Networks I: Variational Autoencoder (VAE)
1. Anomaly Detection
2. Tabular-Data and Image Generation
6. Generative Networks II: Generative Adversarial Network (GAN)
1. Dense GAN
2. Deep Convolutional Generative Adversarial Network (DCGAN)
3. Conditional GAN
4. Image Generation with GAN from ATARI Game Screens
7. Recurrent Neuronal (RNN) and Long Short-Term Memory (LSTM) Networks
1. Programming RNN and LSTM for Classification and Forecasting
2. Performance Control with Multi-Step Forecasting
3. Random Walk and Stock Market Forecasting
8. Industry Examples of Advanced Deep-Learning
1. Uncertainty estimation for Regression Problems
2. Fast Fourier Transforms for Forecasting und Trends
3. UBER Method for LSTM Forecasting
Study Guide CAS Artificial Intelligence 9 / 1112.2 Reinforcement Learning - Übungen
1. Understanding RL Foundation with Multi-Armed-Bandits
1. Bandit Algorithm
2. Exploration vs. Exploitation
3. Upper Confidence Bound
2. Markov Theory Foundation
1. Markov Property
2. Markov Process
3. Transition Matrices
4. Markov Decision Process
3. RL Agent
1. Anatomy of Agent
2. CartPole Random Agent
4. RL Environments
1. Anatomy of Environment
2. OpenAI Gym - Main Building Blocks
3. Project: Generation of Images from Atari Gym Environments using GAN
5. RL Baseline: Cross Entropy
1. CartPole Game
6. Dynamic Programming
1. Q-Value Iteration
2. Policy Iteration
7. Temporal Difference (TD)
1. TD(0) Method
8. Value Based Algorithms – Deep Q-Learning
1. DQN Introduction
2. DQN Mountain Car
3. DQN Frozen Lake
9. Policy Gradient Algorithms - REINFORCE
1. Mathematical Derivation of REINFORCE Theorem
2. Lunar Lander with REINFORCE Method
10. Actor-Critic Algorithms
1. Advantage Actor Critic
2. Solving Humanoid, Half-Cheeta and Ant Pybullet Environments with Tween Delayed
Deep Deterministic Policy Gradient (TD3)
3. Soft-Actor Critic
11. Evolution-Strategies (ES)
1. Supervised Learning with ES
2. Solving Pybullet Environments with ES
12. Project: RL with Real World Gym Environments
1. Algorithmic Trading with Trend Following Strategy und Reinforcement Learning with
Custom Gym Environment for Trading
2. Personalized Automated Product Order with Shopping Cart Gym Environment based on
Instacart Data
Study Guide CAS Artificial Intelligence 10 / 11Während der Durchführung des CAS können sich Anpassungen bezüglich Inhalten, Lernzielen, Dozierenden und Kompetenznachweisen ergeben. Es liegt in der Kompetenz der Dozierenden und der Studienleitung, aufgrund der aktuellen Entwicklungen in einem Fachgebiet, der konkreten Vorkenntnisse und Interessenslage der Teilnehmenden, sowie aus didaktischen und organisatorischen Gründen Anpassungen im Ablauf eines CAS vorzunehmen. Berner Fachhochschule Technik und Informatik Weiterbildung Wankdorffeldstrasse 102 CH-3014 Bern Telefon +41 31 848 31 11 Email: office.ti-be@bfh.ch bfh.ch/ti/weiterbildung ti.bfh.ch/cas-ai Study Guide CAS Artificial Intelligence 11 / 11
Sie können auch lesen
