BDI-Grundsatzpapier Künstliche Intelligenz - Handlungsempfehlungen zur Umsetzung der deutschen und europäischen KI-Strategie

Die Seite wird erstellt Luisa Lemke
 
WEITER LESEN
BDI-Grundsatzpapier Künstliche Intelligenz - Handlungsempfehlungen zur Umsetzung der deutschen und europäischen KI-Strategie
POSITION | DIGITALPOLITIK | KI-STRATEGIE

BDI-Grundsatzpapier
Künstliche Intelligenz
Handlungsempfehlungen zur Umsetzung der deutschen
und europäischen KI-Strategie
BDI-Grundsatzpapier Künstliche Intelligenz - Handlungsempfehlungen zur Umsetzung der deutschen und europäischen KI-Strategie
Digitale Version

Einfach den QR-Code mit dem
Smartphone oder Tablet einscannen,
um die digitale Version zu öffnen.
www.bdi.eu/publikation/news/BDI-Grundsatzpapier-Kuenstliche-Intelligenz
BDI-Grundsatzpapier Künstliche Intelligenz - Handlungsempfehlungen zur Umsetzung der deutschen und europäischen KI-Strategie
Position | Digitalpolitik | KI-Strategie                                                          Inhaltsverzeichnis
BDI-Grundsatzpapier Künstliche Intelligenz

Inhaltsverzeichnis
Vorwort.......................................................................................................................................................................................5

01 Hintergrund.......................................................................................................................................................................6

02 Beispiele für industrienahe KI-Anwendungen............................................................................................... 10

03 Handlungsempfehlungen ....................................................................................................................................... 14

Impressum............................................................................................................................................................................ 18

                                                                                                                                                                                                  3
BDI-Grundsatzpapier Künstliche Intelligenz - Handlungsempfehlungen zur Umsetzung der deutschen und europäischen KI-Strategie
00
    Wir können nur eine kurze Distanz in
    die Zukunft blicken, aber dort können
    wir eine Menge sehen, was getan
    werden muss.

    Alan Turing (1912-1954)
    Britischer Logiker, Mathematiker, Kryptoanalytiker und geistiger
    Vater der Künstlichen Intelligenz.

4
BDI-Grundsatzpapier Künstliche Intelligenz - Handlungsempfehlungen zur Umsetzung der deutschen und europäischen KI-Strategie
Position | Digitalpolitik | KI-Strategie                  Vorwort
BDI-Grundsatzpapier Künstliche Intelligenz

Vorwort
Künstliche Intelligenz (KI) durchdringt nahezu alle       Für Deutschland ergibt sich eine einmalige Chance: Die
Bereiche unseres Lebens und bringt einen Mehr-            Kombination der industriellen Stärke mit den Möglich-
wert für Bürger und Gesellschaft. Zum Beispiel filtert    keiten der KI können uns im internationalen Wettbewerb
KI automatisch unerwünschte Emails und erkennt            mit KI-Vorreitern wie China, den USA oder Israel einen
Schadsoftware. Computern und Smartphones lassen sich      entscheidenden Vorteil verschaffen. Hierfür müssen KI-
über KI-gestützte biometrische Erkennung entsperren.      Technologien in die breite Fläche und in die einzelnen
Im Auto unterstützen KI-basierte Assistenzsysteme den     Unternehmen getragen werden. Dazu ist ein innovations-
Fahrer dabei, die Spur zu halten und warnen bei Über-     freundlicher Regulierungsrahmen erforderlich, der die
müdung. KI reduziert die Emissionen in der Strom-         Chancen von KI in den Vordergrund rückt. Neben den
erzeugung und erhöht die Ressourceneffizienz durch        wirtschaftlichen Aspekten muss von Beginn an auch die
die Minimierung des Ausschusses in der industriellen      gesellschaftliche Dimension miteinbezogen werden. Die
Produktion. Röntgenbilder und MRT-Scans werden auto-      Industrie ist sich ihrer Verantwortung bewusst und bringt
matisch auf Erkrankungen gescannt und KI unterstützt      sich sowohl in die Debatte um die technisch-wirtschaft-
den Mediziner bei der Diagnostik.                         liche Ausrichtung als auch in die Diskussion um einen ver-
                                                          antwortungsvollen Umgang mit KI ein. Dabei besteht das
KI ist bei Politik, Medien und Wirtschaft in den Fokus    leitende Prinzip darin, KI-Anwendungen im industriellen
gerückt. Es werden hohe Erwartungen geweckt,              Kontext zum Wohl der Bürger, der Unternehmen und
aber auch Risiken und mögliche politische Maß-            der Gesellschaft einzusetzen.
nahmen diskutiert. Häufig stehen dabei Business-to-
Consumer-Anwendungen (B2C) im Mittelpunkt der             Bundesregierung und EU-Kommission haben mit ihren
Debatte. Doch gerade für den industriellen Business-to-   KI-Strategien wichtige Grundsteine auf dem Weg hin
Business-Bereich (B2B) birgt KI zahlreiche wirtschaft-    zu einem funktionierenden KI-Ökosystem gelegt. Diese
lich vielversprechende Anwendungsmöglichkeiten. Die       Strategien müssen schnell und konsequent umgesetzt und
Digitalisierung des industriellen Hardware-Bestands –     mit den richtigen Schwerpunkten und Finanzierungen
von Fabriken, Gebäuden, Energie- und Verkehrsnetzen       versehen werden. Nur dann kann KI zur erhofften
– führt dazu, dass große Datenmengen erzeugt werden.      Erfolgsgeschichte für Deutschland und Europa werden.
Um das wirtschaftliche Potenzial dieser Datenmengen
für Deutschland und Europa nutzen zu können, werden
Datenanalyse- und Verarbeitungstechnologien benötigt.
KI kommt dabei eine besondere Bedeutung zu. KI-
Technologien werden schon heute eingesetzt und werden
in wenigen Jahren flächendeckend in der Industrie zu
finden sein.

Iris Plöger                                                  Clemens Otte

Mitglied der Hauptgeschäftsführung                           Stellvertretender Abteilungsleiter
Bundesverband der Deutschen Industrie e. V.                  Digitalisierung und Innovation
                                                             Bundesverband der Deutschen Industrie e. V.

                                                                                                                       5
BDI-Grundsatzpapier Künstliche Intelligenz - Handlungsempfehlungen zur Umsetzung der deutschen und europäischen KI-Strategie
Hintergrund
    Die Anpassungs- und Lernfähigkeit von intelligenten Systemen
    kann das Wirtschaftswachstum der deutschen und europäischen
    Industrie beflügeln.

    Industrie
    Künstliche Intelligenz
    Know-How

6

                            01
BDI-Grundsatzpapier Künstliche Intelligenz - Handlungsempfehlungen zur Umsetzung der deutschen und europäischen KI-Strategie
Position | Digitalpolitik | KI-Strategie                                         Hintergrund
BDI-Grundsatzpapier Künstliche Intelligenz

                                                                                 lernen. Statt konkrete Berechnungsschritte vorzugeben,
Was ist Künstliche Intelligenz?
                                                                                 wird der Computer mit Daten „gefüttert“ und trainiert.
                                                                                 Lernalgorithmen abstrahieren aus den Trainingsdaten
Im Allgemeinen wird unter KI der Versuch verstanden,
                                                                                 selbstständig allgemeine Zusammenhänge. Ein Ein-
Maschinen und Computer „intelligentes“ Verhalten bei-
                                                                                 satzbereich ist die Erkennung von Kreditkartenbetrug.
zubringen.1 Ziel ist es, dass Maschinen und Computer
                                                                                 KI-Entwickler zeigen der Software Betrugsfälle, damit
eigenständig Muster erkennen, Aufgaben bearbeiten,
                                                                                 sie anhand statistischer Methoden selbstständig lernt,
Probleme lösen, Vorhersagen tätigen und dabei auch
                                                                                 welche Datenkonstellationen auf einen Kreditkarten-
komplexe Entscheidungen treffen können. Bei KI wird
                                                                                 betrug hinweisen. Anschließend kann das KI-System die
zwischen schwacher und starker KI unterschieden. Eine
                                                                                 Erkenntnisse auf neue Daten anwenden und verdächtige
starke KI soll im Grunde zu allem fähig sein, wozu ein
                                                                                 Vorgänge selbständig identifizieren. In der Regel gilt: Je
Mensch ebenfalls in der Lage wäre. Die starke KI ist
                                                                                 mehr geeignete Trainingsdaten das System erhält, desto
es auch, die Filmemacher und Science-Fiction-Autoren
                                                                                 zuverlässiger funktioniert es. Das KI-System kann so
fasziniert, sie hat aber mit der Realität nichts zu tun.
                                                                                 gestaltet werden, dass es im Betrieb ständig weiterlernt.
Die schwache KI hingegen ist schon länger in Wirtschaft
und Gesellschaft angekommen und macht zurzeit rasante                            Innerhalb des maschinellen Lernens gibt es eine Viel-
Fortschritte. Sie befasst sich damit, spezifische kognitive                      zahl von Disziplinen, die jeweils für unterschiedliche
Fähigkeiten des Menschen auf Maschinen zu übertragen.                            Aufgaben gut geeignet sind. Eine Disziplin, die in den
Das allgemeine Begriffsverständnis von KI verändert sich                         letzten Jahren maßgeblich für die großen Innovations-
dabei im Laufe der Zeit. Galten früher Schachcomputer                            sprünge in der Sprach-, Bild- und Videoverarbeitung
als Maßstab für KI, sind es heute vor allem Systeme                              verantwortlich war, ist das Deep Learning. Es basiert
zur Sprach-, Bild- und Mustererkennung. Diese Fähig-                             auf künstlichen neuronalen Netzen, deren Funktions-
keiten sind für Menschen selbstverständlich, aber für                            weise vom menschlichen Gehirn inspiriert wurden. Deep
Maschinen hochkomplex.                                                           Learning eignet sich gut für Anwendungen, bei denen
                                                                                 besonders große, qualitativ hochwertige Datenbestände
Eine Kerntechnologie der KI ist das maschinelle                                  zur Verfügung stehen, aus denen sich Muster und Modelle
Lernen. Mit Hilfe des maschinellen Lernens kann                                  ableiten lassen.
ein Computer aus Beispielen oder Erfahrungswerten

1
    Der Begriff ist nicht eindeutig abgrenzbar, da es bereits an einer genauen
    Definition von „Intelligenz“ mangelt.

Künstliche Intelligenz
Quelle: BDI

    Künstliche
    Intelligenz                           Maschinelles
                                          Lernen                                   Deep
                                                                                   Learning

                                                                                                                                              7
BDI-Grundsatzpapier Künstliche Intelligenz - Handlungsempfehlungen zur Umsetzung der deutschen und europäischen KI-Strategie
Position | Digitalpolitik | KI-Strategie                         Hintergrund
    BDI-Grundsatzpapier Künstliche Intelligenz

    KI ist Schlüsseltechnologie                                      Der Einsatz von KI kann bis zum Jahr 2035 ein zusätz-
    der Industrie                                                    liches jährliches Wachstum der Bruttowertschöpfung
                                                                     von bis zu 2 Prozent im Durchschnitt über alle Branchen
    Auch wenn KI von den umfassenden Möglichkeiten                   hinweg auslösen. Die stärksten Impulse werden mit
    menschlicher Intelligenz weit entfernt ist, kann sie             2,3 Prozent innerhalb des produzierenden Gewerbes
    in spezifischen Anwendungsfeldern äußerst effizient              erwartet.2 Aufgrund seiner industriellen Stärke kann
    sein. Einmal trainiert, können KI-Systeme im Ver-                Deutschland somit überproportional von KI profitieren.
    gleich zu Menschen höhere Datenmengen in kürzerer
    Zeit mit besseren Ergebnissen erfassen, analysieren              Gute Voraussetzungen für
    und auswerten. Dadurch erreichen sie eine erhebliche             Deutschland im B2B-Bereich
    Bedeutung für die Industrie.
                                                                     Deutschland verfügt insgesamt über gute Voraus-
    Die Anwendungsbereiche sind vielfältig. KI wird ein-             setzungen, die Potenziale von KI zu heben. Auch
    gesetzt, um Produktionsprozesse zu optimieren, die               wenn Länder wie China oder die USA im B2C-Bereich
    Energieausbeute aus Windparkanlagen zu verbessern                weit voraus sind, kann Deutschland im industriellen
    oder die Stickstoffemissionen aus Verbrennungs-                  B2B-Bereich eine Vorreiterrolle einnehmen. Deutsche
    anlagen zu reduzieren. In der Entwicklung unterstützt            Industrieunternehmen sind bei verschiedenen KI-
    KI Ingenieure dabei, neue Produkte und Systeme hin-              Anwendungsfeldern, wie z. B. intelligente Auto-
    sichtlich Leistungsfähigkeit und Ressourceneffizienz zu          matisierung, intelligente Sensorik und Robotik
    optimieren. Auch in unterstützenden Bereichen wie bei-           weltweit führend.
    spielsweise Marketing und Vertrieb, Personalwirtschaft
    oder Kundendienst bietet KI zahlreiche Möglichkeiten.
    In wenigen Jahren wird KI in zahlreichen Produkten,
    Prozessen und Dienstleistungen eingebettet sein.

                                                                     2
                                                                         Vgl. iit (2018): Potenziale der Künstlichen Intelligenz im Produzierenden
                                                                         Gewerbe in Deutschland. Studie im Auftrag des BMWi.

    Die Hemmnisse der KI-Nutzung im Mittelstand
    Quelle: WIK (2019): Künstliche Intelligenz im Mittelstand

    Einschätzung der Hemmnisse der KI-Nutzung im Mittelstand durch die Experten in gewichteter, absteigender Reihenfolge (n= 33)

                                      Fehlendes Know-how

                                     Mangelnde Datenbasis

                                Datensicherheitsbedenken

     Mangelnder digitaler Reifegrad im Unternehmen

                                                                                                                                 kein
                    Unzureichende digitale Infrastruktur
                                                                                                                                 Hemmnis
                           Mangelnde Akzeptanz in die                                                                            geringes
                   KI-gesteuerte Entscheidungsfindung                                                                            Hemmnis
                                                                                                                                 mittleres
                  Fehlende Marktreife von KI-Lösungen                                                                            Hemmnis
                                                                                                                                 starkes
         Mangelnde Akzeptanz unter den Mitarbeitern                                                                              Hemmnis
                                                                                                                                 sehr starkes
                        Begrenzte finanzielle Ressourcen                                                                         Hemmnis
                                                                0   20          40           60            80          100

8
Position | Digitalpolitik | KI-Strategie                                        Hintergrund
BDI-Grundsatzpapier Künstliche Intelligenz

Positiv sind auch die Voraussetzungen in der Forschung                          KI-Strategien von Bundesregierung
zu bewerten. Europa hat viele exzellente Forscher und                           und EU-Kommission sind wichtige
Forschungsgruppen in der KI. In Deutschland und                                 Grundsteine für KI „made in Europe“ –
Europa entwickelte KI-Algorithmen finden weltweit
                                                                                Umsetzung muss jetzt erfolgen
Anwendung. Rund 30 Prozent aller KI-Publikationen,
die in den Jahren 2013 bis 2017 veröffentlicht wurden,                          Die hohen Erwartungen an KI haben verschiedene
stammen aus Europa.3 Allerdings holen andere Regionen                           Länder frühzeitig dazu bewegt, nationale KI-Strategien
auf. Gleichzeitig wandern europäische Wissenschaftler                           zu entwickeln. In Deutschland wurde im November
zunehmend in den außereuropäischen Privatsektor und                             2018 eine umfangreiche KI-Strategie veröffentlicht mit
an international führende Eliteuniversitäten ab. Gründe                         dem Ziel, Deutschland zu einem weltweit führenden
hierfür sind unter anderem die guten Gehaltsaussichten                          Standort bei der Erforschung von künstlicher Intelligenz
und eine hohe Gestaltungsfreiheit in der Forschung.4                            zu machen. Zur Sicherung der Wettbewerbsfähigkeit
                                                                                von Forschung und Wirtschaft sowie des Gemeinwohls
Fehlendes Know-How größte                                                       enthält die KI-Strategie eine Reihe von KI-spezifischen
Herausforderung für KMU                                                         Maßnahmen, wie z. B. die Unterstützung von kleinen
                                                                                und mittleren Unternehmen im Bereich KI sowie
Aufgrund des hohen Potenzials findet KI zunehmende                              die Förderung des wissenschaftlichen Nachwuchses,
Verbreitung in der deutschen Industrie. Rund 25 Prozent                         der Forschung und der Lehre. Zur Umsetzung dieser
der Großunternehmen des produzierenden Gewerbes                                 Maßnahmen sind bis zum Jahr 2025 insgesamt drei
setzen bereits KI-Technologien ein. Bei kleinen und                             Milliarden Euro an staatlichen Mitteln vorgesehen.7
mittleren Unternehmen (KMU) fällt dieser Anteil mit
15 Prozent jedoch erheblich geringer aus.5                                      Auch die EU-Kommission widmet sich verstärkt dem
                                                                                Thema KI. Im April 2018 hat sie eine europäische KI-
Fehlendes Know-how und fehlende Fachkräfte sind                                 Strategie und im Dezember 2018 einen koordinierten
dabei das größte Hemmnis für die Implementierung                                Plan für die Entwicklung und Nutzung künstlicher
von KI-Lösungen im Mittelstand. KI-Experten sind                                Intelligenz veröffentlicht und alle Mitgliedsstaaten
rar auf dem Arbeitsmarkt und mittelständische Unter-                            dazu aufgerufen, bis Mitte 2019 nationale KI-Strategien
nehmen können häufig nicht dieselben Gehälter zahlen                            zu entwickeln. Ziel der EU-Kommission ist es unter
wie Großunternehmen. Auch die mangelnde Daten-                                  anderem, öffentliche und private KI-Investitionen der
basis insbesondere für Anwendungen des maschinellen                             Mitgliedsstaaten bis 2028 auf 20 Milliarden Euro pro
Lernens wird als erhebliches Hemmnis gesehen. Mittel-                           Jahr zu steigern.8
ständische Unternehmen verfügen insgesamt über
eine kleinere Datenbasis und Daten werden weniger                               Bundesregierung und EU-Kommission haben mit den
systematisch erfasst als in Großunternehmen.6                                   KI-Strategien dringend notwendige Grundsteine für „KI
                                                                                made in Europe“ gelegt. Zwar gab es auch schon vor-
                                                                                her vereinzelt KI-Förderprogramme, aber es fehlte ein
                                                                                übergreifendes Gesamtkonzept für Forschung, Transfer
                                                                                und Anwendung von KI in Deutschland und Europa.
                                                                                Die einzelnen angekündigten Maßnahmen müssen
                                                                                konsequent weiterverfolgt und zügig umgesetzt werden.

3
     Vgl. Elsevier (2018): Artificial Intelligence: How knowledge is created,
    transferred, and used.
4
    Vgl. Ebenda                                                                 7
                                                                                    Vgl. Die Bundesregierung (2018): Strategie Künstliche Intelligenz der
5
    Vgl. iit (2018): Potenziale der Künstlichen Intelligenz im Produzierenden       Bundesregierung.
    Gewerbe in Deutschland. Studie im Auftrag des BMWi.                         8
                                                                                    Vgl. European Commission (2018): Coordinated Plan on Artificial
6
    Vgl. Ebenda                                                                     Intelligence.

                                                                                                                                                            9
02
                                        Beispiele für industrienahe
                                        KI-Anwendungen
                                        Die vielfältigen Einsatzmöglichkeiten
                                        machen KI zu einer der wichtigsten Schlüs-
                                        seltechnologien in der Industrie.

     Optimierung
     Automatisierung
     Technologien

            Steuerung                                                 Digitaler
       von Gasturbinen                                          Laborassistent
     Siemens setzt maschinelles Lernen ein, um die Steuerung   Evonik entwickelt den ersten sprachgesteuerten Labor-
     von Gasturbinen zu optimieren. Nach einigen Wochen        assistenten COATINO™ für die Coatings-Industrie.
     Lernzeit konnte die KI die Brennersteuerung über-         Der digitale Assistent hilft Kunden der Lackindustrie
     nehmen und den Stickoxid-Ausstoß um 20 Prozent            mit gezielten Produktempfehlungen auf der Basis
     reduzieren.                                               von maschinellem Lernen und soll so umständliches
                                                               Suchen ersparen.

       Qualitätskontrolle                                            Robuste
                                                                 Glasbrucherkennung
     Volkswagen setzt künstliche neuronale Netze für die
     Qualitätskontrolle in der Produktion ein. Anhand von      Infineon wendet Deep Learning in einem System zur
     Bilddaten können Produktionsfehler, die mit dem           Glasbrucherkennung an. Das System verarbeitet die
     menschlichen Auge nicht schnell und zuverlässig genug     Signale eines Mikrofons und eines Drucksensors, um zu
     geprüft werden können, früh im Produktionsprozess         erkennen, ob eine Fensterscheibe eingeschlagen wurde.
     erfasst und korrigiert werden.                            Durch die Kombination und Auswertung der Sensoren
                                                               mit dem gleichen Verfahrensprinzip kann die Anzahl
                                                               der Falschmeldungen (z. B. bei Bruch eines Trinkglases,
                                                               Hundegebell) signifikant reduziert werden.

10
Position | Digitalpolitik | KI-Strategie                   Beispiele für industrienahe KI-Anwendungen
BDI-Grundsatzpapier Künstliche Intelligenz

         Erkennung von Pflanzenschäd-                               Neue Medikamente
  lingen und Nährstoffmangel                                entdecken
Durch Pflanzenkrankheiten und Schädlinge gehen             Mit dem ungarischen Startup „Turbine“ arbeitet Bayer
weltweit noch immer rund 30 Prozent der jährlichen         an einer KI, die simuliert, wie sich Krebszellen auf der
Ernten verloren. Die kostenlose App „Plantix“ des          Molekularebene verhalten und auf Wirkstoffe reagieren.
Startups PEAT aus Hannover hilft, Pflanzenschäd-           Laborexperimente können so virtuell vorgenommen
linge und Nährstoffmangel zu erkennen – mit einem          werden, was deutlich schneller und günstiger ist.
einzigen Handyfoto. Die neuronalen Netze der Ent-
wickler erkennen typische Muster, ordnen sie einer                  Automatische
bestimmten Erkrankung zu und schlagen passende               Qualitätskontrolle
Gegenmaßnahmen vor. Je mehr Nutzer mitmachen,
desto besser lernt „Plantix“.                              IBM wendet Deep Learning an, um eine automatische
                                                           Kontrolle von Werkstücken durchzuführen. Das
         Navigationssystem                                 System macht Videoaufnahmen von den Werkstücken,
  für Sägen                                               um sie auf Kratzer oder andere Beschädigungen zu
                                                           kontrollieren. So konnte bis zu 80 Prozent der ursprüng-
Flüssigere Arbeitsabläufe, weniger Fehler und höherer      lich für die Qualitätskontrolle veranschlagten Zeit
Output. Das Bediener-Assistenzsystem von HOMAG             eingespart werden.
erkennt mittels Kamera und Machine Learning, was
der Bediener macht – und führt ihn Schritt für Schritt
durch den Zuschnittprozess. Weicht der Bediener vom          Batterieprognose
geplanten Ablauf ab, passt der „intelliGuide“ die Sägen­
abläufe an oder korrigiert den Bediener.                   Audi Motorsport setzt neuronale Netze für die
                                                           Modellierung von Batterieverhalten im Rennwagen ein.
         Optimierung der Anfahrphase                       Mittels Zeitreihenmodellen kann der Zusammenhang
  eines Glasziehprozesses                                 zwischen Ladestand, Entladung und Fahrverhalten
                                                           gelernt und somit für die Optimierung des Fahrver-
Das Fraunhofer IOSB hat eine intelligente Regelung für     haltens eingesetzt werden.
die Anfahrphase eines Glasziehprozesses entwickelt.
Die KI erkennt automatisiert das verwendete Roh-                    Kategorisierung von Anfragen
material sowie dessen Qualität und passt darauf auf-         im Kundenservice
bauend die Geschwindigkeit sowie die Temperatur der
Anlage an. Der entstehende Ausschuss beim Anfahren         SAP Service Ticket Intelligence ermöglicht, Kunden-
des Prozesses konnte so signifikant reduziert werden.      anfragen an den Kundendienst schneller und mit
                                                           verbesserter Qualität zu lösen. Dabei können ent-
         Benutzerführung im Com-                           sprechende KI-Modelle Tickets aus allen Kanälen vor-
        puter-Aided-Design (CAD)                          sortieren und zu den richtigen Bearbeitern und Teams
                                                           weiterleiten. Zusätzlich werden Lösungen auf Basis ver-
Bei CAD Software wird KI bereits eingesetzt, um            gangener Kundenanfragen vorgeschlagen.
anstehende Arbeitsschritte vorherzusagen und die
Benutzeroberfläche vorausschauend zu aktualisieren.
Damit wird der Einsatz der Software effizienter.

                                                                                                                      11
Position | Digitalpolitik | KI-Strategie                  Beispiele für industrienahe KI-Anwendungen
     BDI-Grundsatzpapier Künstliche Intelligenz

              KI-gestützte                                              Intelligente
       Werkstoffprüfung                                         Kommissionierung
     Die MTU Aero Engines verwendet Deep Learning zur          Das Warehouse Management System von Jungheinrich
     automatisierten Werkstoffprüfung im Flugtriebwerks-       prognostiziert mittels KI die voraussichtliche Erfüllbar-
     bau. Mittels neuronaler Netze kann eine IT-gestützte      keit der Lieferzeit aller Aufträge und schließt daraus
     Gefügeanalyse in Bildaufnahmen von Werkstoffen            selbstständig, ob der geplante Lieferzeitpunkt erreicht
     durchgeführt werden. Im Vergleich zur herkömm-            werden kann. Ist dies nicht der Fall, so reagiert das
     lichen Gefügeanalyse können so Bildauswertezeiten auf     System und stellt somit sicher, dass die Aufträge trotz-
     wenige Sekunden reduziert und Metriken standardisiert     dem zeitgerecht das Lager verlassen. Das System lernt
     nutzbar gemacht werden.                                   selbstständig im Produktivbetrieb.

              Optimale Bestückung von                                   Positionierung
       Werkzeugmagazinen                                        von Autotüren
     Bei Werkzeugmaschinen wird mit Hilfe von KI das           Erium nutzt maschinelles Lernen, um die richtige Ein-
     Programm zu Bearbeitung eines Werkstücks analysiert       bauposition von Autotüren zu ermitteln und reduziert
     und das Werkzeugmagazin daraufhin optimal bestückt.       dadurch aufwendige Nacharbeit. Die intelligente Ver-
     Die Produktivität des Fertigungsprozesses kann somit      bindung von Expertenwissen und KI ermöglicht es, auch
     um bis zu 20 Prozent gesteigert werden.                   bei schwieriger Datenlage in Echtzeit auf eine varianten-
                                                               reiche Fertigung zu reagieren. Dadurch werden lang-
              Vorausschauendes Erkennen                        fristige Schwankungen der Spalt- und Versatzmaße in
       von Fehlern und Wartungsbedarf                         Autotüren vollständig eliminiert.

     Balluff verwendet maschinelles Lernen, um anhand
     von Sensordaten Fehler und Wartungsbedarf in einer
     Fertigungsanlage frühzeitig zu detektieren. Das System
     lernt die Zustände der Anlage und erkennt Anomalien
     wie z. B. defekte oder abgenutzte Anlagenteile. So kann
     die Wartung effizienter geplant und dadurch Stillstand-
     zeiten minimiert werden.

                                                  KI unterstützt Menschen dabei, die stetig
                                                  wachsende Datenflut zu beherrschen und
                                                  viele Arbeitsschritte effizienter zu gestalten.

12
Position | Digitalpolitik | KI-Strategie                   Beispiele für industrienahe KI-Anwendungen
BDI-Grundsatzpapier Künstliche Intelligenz

         Automated Machine
  Learning Service                                          Glasfaser-Ausbauplanung
 Die Automated Machine Learning Service von                Die Deutsche Telekom entwickelt gemeinsam mit
 Weidmüller ermöglicht es Maschinen- oder Prozess-         Fraunhofer IPM eine KI zur Ausbauplanung von Glas-
 experten, eigenständig Maschinendaten zu ana-             faserkabeln. Ein spezielles Fahrzeug sammelt über ver-
 lysieren und Modelle z. B. zur Fehlervorhersage zu        schiedene Sensoren und Laser-Scanning-Technologie
 erstellen, auch wenn sie über kein Data-­S cience-        präzise Daten über die für Erweiterungen ausgewählte
­Expertenwissen verfügen.                                  Umgebung. Das System lernt Landschaftsmerkmale wie
                                                           Häuser, Gras, Bäume usw. hinsichtlich ihrer Planungs-
         Wiederbeschaffungszeiten                          relevanz zu erkennen und nutzt diese Fähigkeit, um
  intelligent planen                                      automatisiert Vorschläge für ideale Routen für unter-
                                                           irdische Kabel zu erstellen.
INFORM setzt bei Industriekunden maschinelles
Lernen ein, um die Wiederbeschaffungszeiten von Bau-
teilen besser zu planen und Produktionsstillstände zu
vermeiden. Mit speziellen Algorithmen können anhand
vorhandener Daten präzise Vorhersagen über die Liefer-
zeit eines benötigten Bauteils gemacht werden. Fehler in
der Schätzung von Wiederbeschaffungszeiten können
so um bis zu 42 Prozent reduziert werden.

                                                                                                                    13
03
                                           Handlungsempfehlungen
                                           Der Schwerpunkt der KI-Förderung sollte
                                           auf industrienahen Anwendungsfeldern
                                           liegen, um Deutschland und Europa im
                                           internationalen Wettbewerb einen Vorteil
                                           zu verschaffen.

Forschung
Edge Computing
Vernetzung

                                                                     Deutschland weiter vom Ziel, 3,5 Prozent des BIP für
          Zusätzliche Haushaltsmittel
    1                                                                Forschung und Entwicklung aufzuwenden. Die Bundes-
          bereitstellen und Schwer-                                  regierung sollte zumindest an dem Drei-Milliarden-Euro-
          punkt auf industrienahe                                    Ziel festhalten und hierfür zusätzliche Haushaltsmittel
          Anwendungsfelder legen                                     zur Verfügung stellen. Die Förderschwerpunkte sollten
                                                                     dabei auf den industrienahen Anwendungsfeldern liegen.
Die Bundesregierung hat angekündigt, bis einschließ-
                                                                     Jede Region hat bei KI unterschiedliche Kompetenzen
lich 2025 insgesamt etwa drei Milliarden Euro für die
                                                                     und Schwerpunkte. US-amerikanische Unternehmen
Umsetzung der KI-Strategie zur Verfügung zu stellen.
                                                                     dominieren datengetriebene Anwendungen und
Allerdings sind im Haushaltsentwurf 2020 und der
                                                                     Plattformen im B2C-Bereich. China ist u. a. in den
Finanzplanung bis 2023 bisher nur eine Milliarde Euro
                                                                     Anwendungsbereichen nationale Sicherheit und Online-
an Fördermitteln vorgesehen.9 Die restlichen Mittel
                                                                     Handel stark aufgestellt. Deutschland und Europa
sollen zum Teil über die Umschichtung der Ressort-
                                                                     werden sich im internationalen Wettbewerb nicht
etats finanziert werden. Dies ist der falsche Weg. Die
                                                                     behaupten können, wenn sie auf die gleichen Schwer-
Förderung von Künstlicher Intelligenz sollte nicht zu
                                                                     punkte setzen. Bundesregierung und EU-Kommission
Lasten bestehender Fördertöpfe erfolgen. Dies entfernt
                                                                     sollten den Auf- und Ausbau von Kompetenzen in KI-
                                                                     Bereichen mit strategischer Bedeutung für die Industrie
9
    Vgl. Bundesfinanzministerium (2019): Eckwertebeschluss der
    Bundesregierung zum Regierungsentwurf des Bundeshaushalts 2020
    und zum Finanzplan 2019 bis 2023.
Position | Digitalpolitik | KI-Strategie                                Handlungsempfehlungen
BDI-Grundsatzpapier Künstliche Intelligenz

wie z. B. Robotik, datenarme KI oder hybride KI 10 gezielt              enger Abstimmung mit den europäischen Mitgliedsstaaten
fördern. Diese Bereiche sollten in enger Zusammen-                      eine koordinierte Forschungsroadmap erarbeiten, um die
arbeit mit der Industrie systematisch identifiziert und                 insgesamt gute Ausgangsposition in der KI-Forschung
fortlaufend neu bewertet werden, z. B. in Form eines                    nicht zu gefährden. Um die Forschungsroadmap umsetzen
jährlichen Kompetenzmonitorings.                                        zu können, müssen internationale Top-Wissenschaftler
                                                                        gehalten bzw. angeworben werden. Hierfür sollten
           Indikatoren für die Erfolgsmes-                              Forschungseinrichtungen im Spitzensegment mehr Spiel-
     2     sung der KI-Strategie festlegen                              räume bei Personal- und Budgetstrukturen erhalten.
           und Datenlage verbessern                                     Forschung und Anwendung von KI sollte aber nicht nur
                                                                        in speziell darauf ausgerichteten Instituten der Informatik
Die KI-Strategie der Bundesregierung enthält viele                      und Mathematik erfolgen, sondern auch innerhalb der
richtige Ziele und Maßnahmen. Allerdings mangelt es                     Forschungsagenden und Curricula der anwendungs-
an der Umsetzung. Die Ziele und Maßnahmen sind in                       orientierten Fachrichtungen wie Maschinenbau, Elektro-
weiten Teilen zu allgemein formuliert, unzureichend                     technik, Medizin, Bauingenieurwesen etc. Zudem gilt es,
operationalisiert und mit wenigen messbaren Indikatoren                 die KI-Kompetenzen an Fachhochschulen stärker auszu-
unterlegt. Für eine erfolgreiche Steuerung und Erfolgs-                 bauen. Sie sind ein wichtiger Kooperationspartner ins-
messung der Maßnahmen sollte die Bundesregierung                        besondere für mittelständische Unternehmen.
geeignete quantitative Output-Indikatoren für relevante
Bereiche, wie z. B. KI-Verbreitung in der Wirtschaft                            Transfer in kleine und ­mittlere
                                                                          4
oder Forschung und Entwicklung festlegen. Hierfür ist                           Unternehmen stärken
unter anderem eine tiefgehende, quantitative Stärken-
Schwächen-Analyse des KI-Standorts Deutschlands not-                    Deutschlands wirtschaftliche Stärke basiert auf den
wendig. Allerdings gibt es zu wenige belastbare Kenn-                   dezentralen Wertschöpfungsstrukturen des deutschen
zahlen, um ein aussagekräftiges und differenziertes                     Mittelstandes. Jeder zweite „Hidden Champion“ welt-
Lagebild zu erstellen. Unter anderem ist die Datenlage                  weit kommt aus Deutschland. KI kann nur zur erhofften
zur unternehmensinternen KI-Forschung und zur wissen-                   Erfolgsgeschichte werden, wenn es mittelständischen
schaftlich-wirtschaftlichen KI-Forschungskooperation                    Unternehmen gelingt, die Technologie in eigene Produkte
stark verbesserungswürdig. Die Bundesregierung sollte                   und Prozesse zu integrieren. Die in der KI-Strategie
Wirtschaftsforschungsinstitute bzw. statistische Ämter                  angekündigten Maßnahmen, wie z. B. der Einsatz von KI-
damit beauftragen, in enger Zusammenarbeit mit Wissen-                  Trainern oder die Einrichtung von KI-Testfeldern zielen
schaft und Wirtschaft entsprechende Kennzahlen zu ent-                  in die richtige Richtung. Bei den Maßnahmen sollte der
wickeln und kontinuierlich zu erheben.                                  konkrete Nutzen von KI im Vordergrund stehen und nicht
                                                                        die Technologie selbst. KMU sollten unter anderem für
           Europäische Forschungs­                                      Anwendungsmöglichkeiten von KI mit einer niedrigen
     3     roadmap für KI entwickeln und                                technologischen und wirtschaftlichen Eintrittsschwelle
           Attraktivität für internationale                             sensibilisiert werden. Zudem gilt es, regionale und über-
                                                                        regionale Vernetzungsinitiativen mit IT-Dienstleistern und
           Top-Wissenschaftler steigern                                 KI-Startups zu etablieren. Viele Unternehmen können
Im Zeitalter der KI rücken Wissenschaft und Wirtschaft                  keine eigenen KI-Experten beschäftigen und benötigen
enger zusammen. Praxistaugliche KI-Lösungen basieren                    Realisierungspartner, die sie bei der Entwicklung von
häufig auf Verfahren, die kurz zuvor noch als grundlegende              KI-Anwendungen unterstützen.
Forschungsergebnisse angesehen wurden. Eine Führungs-
rolle bei KI kann die Wirtschaft nur erreichen, wenn
ein wechselseitiger Austausch mit einer leistungsfähigen
KI-Forschungslandschaft stattfindet. In Ergänzung zum
„Coordinated Action Plan“ sollte die EU-Kommission in

10
     Unter hybrider KI versteht man KI-Modelle, in denen menschliches
     Expertenwissen und maschinelle Lernmethoden kombiniert werden
     mit dem Ziel, die Robustheit von KI-Systemen zu verbessern.

                                                                                                                                      15
Position | Digitalpolitik | KI-Strategie                   Handlungsempfehlungen
     BDI-Grundsatzpapier Künstliche Intelligenz

              Potenziale von Edge                               Entwicklungsgrundsätze wie Security by Design und
       5      Computing nutzen                                  Privacy by Design, die im Bereich der Hard- und Soft-
                                                                wareentwicklung schon lange zum Tragen kommen,
     KI-Systeme werden heute meistens zentral, z. B. auf        müssen an die spezifischen Herausforderungen von KI
     Cloud-Plattformen realisiert. Nicht immer ist es aber      angepasst werden. Zudem müssen eine Verschlüsselung
     machbar und oft auch gar nicht sinnvoll, alle Daten        auf dem Stand der Technik sowie die sichere Fertigung
     zwischen der Quelle ihrer Entstehung und einer Cloud-      und Lieferung von Hardware Grundlage des KI-Öko-
     Plattform hin und her zu bewegen. Edge Computing bietet    systems werden. Um das Vertrauen von Industrie und
     mit den heute verfügbaren erhöhten lokalen Speicher-       Verbrauchern in KI-basierte Systeme und Anwendun-
     und Leistungskapazitäten durch mehr Dezentralität          gen nachhaltig zu stärken, bedarf es europaweit ein-
     große technische Vorteile hinsichtlich Latenzzeiten,       heitlicher Sicherheitsanforderungen für KI-Systeme und
     Security, Zuverlässigkeit und Robustheit. Zudem kann       deren Komponenten innerhalb der gesamten Liefer-
     Edge Computing bei eingeschränkter Verfügbarkeit           kette und des gesamten Lebenszyklusses. Richtig umge-
     und Bandbreite der digitalen Kommunikationsinfra-          setzt, kann die Cybersicherheit KI-basierter Systeme
     struktur eingesetzt werden. Auch beim Datenschutz          zum Standortvorteil und Qualitätsmerkmal von „KI
     und der Datensicherheit bietet Edge Computing große        made in Germany“ werden.
     Potenziale, da nicht alle Daten zentral gespeichert und
     analysiert, sondern am Ort der Erhebung verarbeitet                Bedarfsgerechte Regulierung
                                                                  7
     werden. Edge Computing ersetzt nicht das Cloud                     sicherstellen – Sektorspezifika
     Computing, sondern ergänzt es. Wegen der in Zukunft                beachten
     riesigen Anzahl an dezentralen Edge Devices ist das
     Wachstumspotenzial für dezentral verarbeitete Daten        In Politik, Wirtschaft und Gesellschaft werden intensive
     und die dafür benötigte Rechenkapazität enorm. Einer       Debatten über die ethischen und rechtlichen Heraus-
     vertrauenswürdigen, passgenauen Hardware wie z. B.         forderungen von KI geführt. Diese Debatte ist richtig
     Mikroelektronik-Chips (u. a. Sensoren, Prozessoren und     und wichtig. Sie darf aber nicht zu einer vorschnellen
     Aktoren) mit optimierter Rechenleistung und niedrigem      horizontalen Regulierung führen. Dies würde ins-
     Energieverbrauch am Anwendungsort kommt dabei              besondere KMU vor große Herausforderungen stellen
     eine besondere Bedeutung zu.                               und die Innovationsspielräume unnötig einschränken.
                                                                Bisher bekannte kritische KI-Anwendungen können
              Cybersicherheit für                               bereits über das bestehende nationale oder europäische
       6      KI-Systeme gewährleisten                          Recht wirksam reguliert werden (z. B. DSGVO, Anti-
                                                                diskriminierungsgesetz, Produktsicherheitsrichtlinie).
     Die Sicherheit der Daten und das Vertrauen in KI-Algo-     Zusätzliche Regelungen und Verfahren dürfen nur in
     rithmen kann nur auf Basis vertrauenswürdiger, siche-      Betracht gezogen werden, wenn ein konkreter Bedarf
     rer Hardware in Kombination mit vertrauenswürdiger         besteht. Zudem gilt zu beachten, dass die ethischen
     Software gewährleistet werden. Insbesondere bei sicher-    und rechtlichen Herausforderungen bei KI je nach
     heitskritischen Anwendungen (z. B. autonomes Fahren,       Einsatzzweck und -kontext sehr unterschiedlich sind.
     Medizintechnik, Steuerung von Großanlagen) müssen          Ethische Fragen stellen sich nur dann, wenn KI-Systeme
     KI-Systeme manipulationssicher sein und mit einer nied-    kritische Entscheidungen über Menschen treffen. In der
     rigen Ausfallwahrscheinlichkeit zur Verfügung stehen.      industriellen Nutzung spielen solche Systeme nur eine
     Unter anderem besteht das Risiko, dass manipulierte        untergeordnete Rolle. Zudem sollte die Bundesregierung
     Trainingsdaten in das System eingeführt werden, die spä-   die angekündigten Reallabore zügig realisieren, um
     ter im Anwendungsfall zu fatalen Fehlentscheidungen        eine passgenaue und bedarfsgerechte Regulierung von
     führen können. Ein Beispiel hierfür ist die Konstruk-      KI-Systemen sicherzustellen. Sie sind ein geeignetes
     tion von sogenannten „Adversarial Examples“. Hierbei       Instrument, um theoretische Annahmen im realen
     berechnet der Angreifer Änderungen für Eingabedaten,       Applikationskontext direkt zu verifizieren und zu
     die für einen Menschen nicht wahrnehmbar sind, aber        validieren. Darüber hinaus sollten Bundesregierung und
     im KI-System eine Fehlklassifizierung verursachen. Folg-   EU-Kommission verstärkt die Möglichkeiten einer Ko-
     lich können KI-Algorithmen im Vergleich zu anderen         Regulierung nutzen. Hierbei entwickeln Unternehmen
     IT-Komponenten zusätzliche Schwachstellen aufweisen.       Verhaltensregeln anhand von Best Practices, die von

16
Position | Digitalpolitik | KI-Strategie                                     Handlungsempfehlungen
BDI-Grundsatzpapier Künstliche Intelligenz

den Aufsichtsbehörden als rechtskonform anerkannt                                    Passgenaue und zielgerichtete
                                                                               9
und ggf. als allgemeingültig erklärt werden können.                                  Kooperationsstrategie verfolgen
            Kontrolle von Algorithmen an                                     Damit die deutsche KI-Strategie zum Erfolg wird,
     8      bestehende Institutionen und                                     ist es notwendig, die europäische und internationale
            Prozesse andocken                                                Zusammenarbeit zu vertiefen. Die Bundesregierung
                                                                             sollte die internationale Zusammenarbeit auf spezi-
In der politischen Debatte zu KI wird die Einrichtung                        fische Sektoren konzentrieren und thematisch nicht
neuer staatlicher Stellen und neutraler unabhängiger                         zu breit anlegen. Interessant sind vor allem Bereiche,
Prüfinstitutionen zur Kontrolle algorithmischer Ent-                         in denen potenzielle Partnerländer besondere Stärken
scheidungen diskutiert. Eine etwaige Kontrolle von                           aufweisen, wie z. B. E-Health in Dänemark oder
algorithmischen Verfahren sollte jedoch in erster                            E-Government in Estland oder Bereiche, die deutschen
Linie an bereits existierende Institutionen (z. B. BaFin,                    Unternehmen ein hohes Markterschließungspotenzial
BNetzA, BSI, KBA, Datenschutzaufsichtsbehörden)                              bieten, wie z. B. KI-Anwendungen in der Produktion in
angedockt werden. Die Übertragung von Prüfaufgaben                           China. Konkrete forschungs- und wirtschaftsgetriebene
an beliehene Stellen, wie zum Beispiel technische Prüf-                      Kooperationsprojekte sind gezielt zu fördern. Darüber
stellen, sind weitere Lösungsansätze. Die Bewertung                          hinaus sollten KMU und Startups finanziell unterstützt
algorithmischer Verfahren sollte immer in Hinblick                           werden, um an internationalen Standardisierungsver-
auf den jeweiligen Einsatzzweck und -kontext erfolgen.                       fahren teilzunehmen. Die Bundesregierung sollte aktiv
Zum Beispiel unterliegen Maschinen, in denen KI zur                          an der Gestaltung der im Rahmen von Horizon Europe
Anwendung kommt, bereits heute den gesetzlichen                              geplanten Partnerschaft zu KI mitwirken und deren Aus-
Anforderungen zur Produktsicherheit mit etablierten                          richtung auf praxisnahe und industrierelevante Themen
Kontrollmechanismen und Aufsichtsbehörden. Um eine                           sicherstellen. Bei ethisch sensiblen KI-Anwendungen
sachgerechte und unabhängige Prüfung ein- und durch-                         sollte eine Zusammenarbeit mit Ländern, die bei der
führen zu können, müssen die bestehenden Behörden                            Entwicklung und Anwendung von KI ähnliche ethische
und Institutionen dringend mit den notwendigen                               und demokratische Werte vertreten wie Europa,
personellen, technischen und finanziellen Ressourcen                         priorisiert werden.
ausgestattet werden. Darüber hinaus sind Kontroll-
pflichten in keinem Fall mit Offenlegungspflichten                                   Strategische Vision für ein
                                                                              10
gleichzusetzen, insbesondere wenn schützenswürdiges                                  digitales Deutschland entwickeln
Know-How von Unternehmen betroffen wäre. Zudem
ist eine Offenlegung des Quellcodes gegenüber Kontroll-                      Insbesondere in Zeiten disruptiver Veränderungen
behörden oder gar der Öffentlichkeit in der Regel nicht                      bedarf es eines breiten gesellschaftlichen Konsens, einer
zielführend, denn selbst für Experten ist der Quellcode                      geteilten digitalen Zukunftsvision, die Technologieent-
nicht immer nachvollziehbar. Zudem reicht der Quell-                         wicklung und Werteverständnis in Übereinstimmung
code ohne die zugrundeliegenden Daten nicht aus,                             bringt. Solch eine Vision könnte der Gesellschaft
um die Wirkungsweise eines KI-Systems ganzheitlich                           Orientierung bieten und würde die Veränderungsbereit-
bewerten zu können. Häufig wirksamer sind funktions-                         schaft des Einzelnen im Prozess des oft mit Ängsten
orientierte Black-Box-Analysen mit deren Hilfe geprüft                       behafteten digitalen Wandels erhöhen. Zugleich böte
wird, ob ein System auf eingegebene Daten zuverlässig                        sie einen klaren Bezugsrahmen für strategische Einzel-
und korrekt reagiert. Einen richtigen Impuls, wie Trans-                     maßnahmen, die sich dadurch zu einer kohärenten
parenz mit Hilfe von Black-Box-Analysen möglich ist,                         Gesamtstrategie zusammenfügen würde. Ein solcher
gibt die Studie „Datenspende“ der Bayerischen Landes-                        Konsens ist kein Selbstläufer. Er muss politisch gewollt
zentrale für neue Medien (BLM).11                                            und im Dialog von Staat mit Wirtschaft, Wissenschaft
                                                                             und zivilgesellschaftlichen Akteuren entwickelt werden.
                                                                             Nur dann kann das wirtschaftliche und gesellschaft-
                                                                             liche Potenzial neuer Technologien in Gänze gehoben
                                                                             werden. Die „Society 5.0“-Strategie der japanischen
                                                                             Regierung könnte dabei als Blaupause dienen.
11
     Vgl. BLM (2018): Abschlussbericht zum Forschungsprojekt #Datenspende.

                                                                                                                                         17
Position | Digitalpolitik | KI-Strategie           Impressum
     BDI-Grundsatzpapier Künstliche Intelligenz

     Impressum
     Herausgeber
     Bundesverband der Deutschen Industrie e. V.
     Breite Straße 29
     10178 Berlin
     T.: +49 30 2028-0
     www.bdi.eu

     Redaktion
     Dr. Thomas Koenen, Abteilungsleiter
     Abteilung Digitalisierung und Innovation

     Clemens Otte, Stellvertretender Abteilungsleiter
     Abteilung Digitalisierung und Innovation

     Konzeption & Umsetzung
     Sarah Schwake, Referentin
     Abteilung Marketing, Online und Veranstaltungen

     Layout
     Michel Arencibia, Art Director
     www.man-design.net

     Druck
     Das Druckteam
     www.druckteam-berlin.de

     Verlag
     Industrie-Förderung Gesellschaft mbH, Berlin

     Bildnachweis
     S.1: 42420183 © adimas | stock.adobe.com
     S.4: 267083581 © Gorodenkoff | stock.adobe.com
     S.6: 296803721 © Mykola | stock.adobe.com
     S.10: 202863122 © murmakova | stock.adobe.com
     S.13: 292340919 © Gorodenkoff | stock.adobe.com
     S.14: x5Jg_f1nBpE | unsplash.com

     Stand
     Dezember 2019
     BDI-Publikations-Nr. 0094

18
Der BDI in den sozialen Netzwerken
Verfolgen Sie tagesaktuell unsere Beiträge in den Sozialen Medien.
Wir freuen uns über Likes, Retweets und Kommentare.

   Twitter                             YouTube
@Der_BDI                           www.youtube.com/user/bdiberlin

   Facebook                            Newsletter
www.facebook.com/DerBDI            bdi.eu/media/newsletter-abo
Sie können auch lesen