Sichere KI-Systeme durch Zertifizierung? - Zur Konzeption der Entwürfe zur MaschinenVO und zum AI Act - Institut für ...

Sichere KI-Systeme durch Zertifizierung?
       Zur Konzeption der Entwürfe zur MaschinenVO und zum AI Act
We b Ta l k : K I - R e g u l i e r u n g m a d e i n E u r o p e , 1 4 . S e p t e m b e r 2 0 2 1

Prof. Dr. Georg Borges

▪ Lehrstuhl für Bürgerliches Recht, Rechtsinformatik,
  deutsches und internationales Wirtschaftsrecht sowie
  Rechtstheorie, Universität des Saarlandes
▪ Geschäftsführender Direktor, Institut für Rechtsinformatik,
  Universität des Saarlandes
▪ Richter am Oberlandesgericht Hamm a. D.
▪ Gründungsmitglied und Sprecher des Vorstands,
  Arbeitsgruppe Identitätsschutz im Internet e.V. (a-i3)
▪ Mitglied des Vorstands, Deutscher EDV-Gerichtstag e.V.
▪ Mitglied des Verwaltungsrats, Stiftung Datenschutz
▪ Mitglied EU-Kommission Expert Group on Liability and New Technologies

Institut für Rechtsinformatik – Ausbildung und Wissenstransfer

▪ Lehrangebote im IT-Recht
    − Schwerpunktbereich „IT-Recht und Rechtsinformatik“
    − Summer School IT Law and Legal Informatics
        summerschool-itlaw.org
    − weiterbildender LL.M. „Informationstechnologie und Recht“
        llm.rechtsinformatik.saarland
    − Zertifikatsstudium „IT-Recht und Rechtsinformatik“
▪ Dienste für die Öffentlichkeit
   − GesetzMobil
   − JuraPush, BGH-Push
   − IT-Recht.Karriere

                                                           INSTITUT FÜR RECHTSINFORMATIK UNIVERSITÄT DES SAARLANDES

Institut für Rechtsinformatik – Forschungsportfolio

▪ Themenfelder und Projekte
   − KI / autonome Systeme
   − eJustice / eGovernment            Amtsgericht 4.0
   − Datenschutz
   − IT-Sicherheit
   − Industrie 4.0 / Cloud Computing
   − Rechtsinformatik / Legal Tech
   − Big Data / Datenwirtschaft

▪ www.rechtsinformatik.saarland

Masterstudium (LL.M.)
Informationstechnologie & Recht

▪ seit Wintersemester 2019/2020
▪ Interdisziplinäre Inhalte in 13 Modulen:
   − 1 Grundlagenmodul
   − 12 frei wählbare Module
   − Neu: KI und Recht (SoSe2021)
   − Geplant: LegalTech (SoSe 2022)
▪ Flexible Modulzusammenstellung
▪ Betreuung der Studierenden durch
  Universitätsprofessoren als Mentoren

Mehr Interesse?

    Zertifikat
    IT-Recht und
    Rechtsinformatik              » Praxisbezogen
                                  » Interdisziplinär: Technik & Recht
                                  » Studienbegleitend
                                    oder
                                  » als berufliche Weiterbildung

    www.rechtsinformatik.saarland/zertifikat

Agenda

I.     Einführung

II.    Test und Zertifizierung

III.   Zertifizierung in MaschinenVO und KI-Gesetz

IV. Leistungen und Lücken der Regelungsentwürfe

Einführung

Risiken von KI

▪ Industrie-Umfeld
▪ Cobots
▪ Fahrerlose Transportsysteme
▪ HR

Sicherheit und Recht

          Sicherheit
          = akzeptiertes Maß an
          Gefahren für definierte
          Schutzgüter
▪ Schutzperspektive /
  Verursacherperspektive
→ Anforderungen an Produkte / Dienste

                                        Sicherheit

Aufgabe des Rechts

▪ Durchsetzung / Gewährleistung von
  Sicherheit
▪ Definition der Schutzgüter
▪ Definition des akzeptierten / erlaubten
  Maßes an Gefahren
▪ Anreize für Gestaltung von Produkten /
  Diensten
▪ Gefahrenabwehr

Anreize für Sicherheit von Produkten / Diensten durch Recht

▪ Verbot (Produktion / Nutzung) von Produkten
▪ Rechtsfolgen bei Überschreitung des erlaubten Gefahrenmaßes
   − Sanktionen
   − Zivilrechtliche Haftung

▪ Positive Folgen bei Einhaltung des erwünschten Gefahrenmaßes
   − Haftungsbefreiung
   − Zugang zu Nutzungen / Märkten (Vergaberecht)
   − Reputationsmerkmale (Gütezeichen)

Test und Zertifizierung

Begriffe

           Test
           = Versuch zur Feststellung bestimmter Eigenschaften / Leistungen einer
           Person oder eines Gegenstandes

           Zertifizierung
           = Bescheinigung / Bestätigung zu einer Aussage (Information) über eine
           Person oder einen Gegenstand

Der Zoo der Zertifizierungen

▪ Bewertungsmaßstab
   − Gütesiegel (beliebige Kriterien)
   − Konformitätsbewertungen
     (Einhaltung gesetzlicher Vorgaben)
▪ Urheber
  − „Selbst-Zertifizierung“
  − Dritt-Zertifizierung

Vorteile und Nachteile von Zertifizierung

▪ Vorteil: ggf. Erkenntnis über Risiken des Produkts
   − Erfordernis hoher Qualität von Test und Zertifizierung

▪ Nachteil: Kosten
   − Gefahr prohibitiver Wirkung von Zertifizierungskosten
   − Notwendigkeit der Abwägung bei gesetzlicher Anordnung von Test / Zertifizierung

Zertifizierung in MaschinenVO und KI-Gesetz

Entwurf MaschinenVO

▪ Titel: Verordnung über Maschinenprodukte
▪ Entwurf v. 21.04.2021
▪ Soll Maschinenrichtlinie ersetzen
▪ Regelungsinhalt:
   − Markteintrittsregelung: Art. 10 Abs. 2 MVO-E Kein
     Marktzugang ohne Konformitätserklärung / CE-Kennzeichen
   − Konformitätserklärung aufgrund von
       • Bei Hochrisiko-Maschinenprodukten: EU-
         Baumusterprüfverfahren oder umfassende
         Qualitätssicherung, Art. 21 Abs. 2 MVO-E
       • Bei sonstigen Maschinen: Selbsteinschätzung
         (interne Fertigungskontrolle) Art. 21 Abs. 3 MVO-E
   − Marktüberwachung, Art. 41 ff. MVO-E

Hochrisiko-Maschinenprodukte,
Art. 5 MVO-E
▪ Risiko für menschliche Gesundheit,
  Art. 5 Abs. 3
▪ Aufnahme in Anhang I (Blacklist-
  Verfahren), Art. 5 Abs. 1
▪ Umfangreiche Liste, 25 Kategorien
▪ Neu: Betonung von
  Sicherheitsfunktionen
▪ Einbeziehung von Cobots unklar
   − Vager Begriff von KI
   − Vager Begriff der Sicherheitsfunktion

Entwurf KI-Gesetz

▪ Titel: Gesetz über Künstliche Intelligenz
▪ Entwurf v. 21.04.2021
▪ Soll spezifische Aspekte von KI adressieren
▪ 3 Stufen der Regelung
    − Verbot von KI-Anwendungen (Art. 5 KIG-E)
    − Pflicht zu Test und Zertifizierung für „Hochrisiko-KI“
      (Art. 16 ff. KIG-E)
    − Transparenzanforderungen (Art. 52 KIG-E)
▪ Nicht: Haftung

Der Begriff der Hochrisiko-KI
                                         Klassifikation der ExamAI HR Use Cases
▪ Komplexe Regelung, gemischter Ansatz
   − Sicherheitskomponenten,             UC 1 (Vorschlagssysteme auf          Hochrisiko
                                         Personalplattformen)
     Art. 6 Abs. 1 KIG-E
                                         UC 2 (Persönlichkeitsbewertung)      Hochrisiko
   − Systeme nach Anhang III,
     Art. 6 Abs. 2 KIG-E                 UC 3 (Background-Checks)             Hochrisiko
▪ In HR → fast alles
                                         UC 4 (Chatbot)                       Kein Hochrisiko
▪ Fazit: Weiter Anwendungsbereich für
  Regelung zu Test / Zertifizierung      UC 5 (interne Jobprofil-Matchings)   Hochrisiko

                                         UC 6 (Vorhersage                     Hochrisiko
                                         Kündigungsbereitschaft)
                                         UC 7 (Arbeitszeitzuweisung)          Hochrisiko

Test und Zertifizierung im Entwurf des KI-
Gesetzes
▪ 3 unterschiedliche Verfahren, Art. 43 KIG-E
▪ Bei Systemen lt. Anhang III Nr. 1
  (biometrische Erkennung), (Abs. 1)
   − Interne Kontrolle (bei harmonisierten Normen) oder
   − Qualitätsmanagementsystem mit notifizierter Stelle
▪ Bei Systemen lt. Anhang III Nr. 2–8
  (alle anderen Systeme), Abs. 2
   − interne Kontrolle (ohne Beteiligung einer
     notifizierten Stelle)
▪ Bei Systemen i.S. anderer Rechtsakte, Abs. 3
   → Verfahren nach den jew. Rechtsakten

Leistungen und Lücken der Regelungsentwürfe

Leistungen

▪ Großflächige Unterwerfung von KI
  unter Sicherheitsanforderungen
▪ Vermeidung von
  Markteintrittsbarrieren
   − Kostengünstige
     Konformitätserklärung für die
     meisten KI-Systeme
   − Kostenvorteile für KMU bei Dritt-
     Zertifizierung, Art. 55 KIG-E
   − Reallabore, Art. 53 KIG-E

Lücken

▪ Schwache Durchsetzung der Anforderungen
   − Durchsetzung ausschließlich durch Behörden
   − keine Auskunftsrechte etc. für Betroffene
▪ Keine Regelungen für Tests als solche
   − Zugang zu Produkten für Testzwecke
   − Zugang zu Test- und
     Zertifizierungsergebnissen
▪ Zertifizierung und Rechtsfolgen
   − Unklare Verbindung zu Haftung
   → Verzicht auf Haftung als Anreiz
▪ Abstellung auf harmonisierte Normen
→ Mangel an schnell verfügbaren Normen

Vielen Dank für Ihre Aufmerksamkeit!

Prof. Dr. Georg Borges
georg.borges@uni-saarland.de
www.rechtsinformatik.saarland