Stateless System Remote-Boot als Business-Continuity-Konzept - DFN-Konferenz "Sicherheit in vernetzten Systemen"

Stateless System Remote-Boot als
Business-Continuity-Konzept
28. DFN-Konferenz "Sicherheit in vernetzten Systemen"
D. v. Suchodoletz, M. Janczyk, J. Leendertse, M. Messner, B. Wiebelt

Agenda

     Ausgangslage
     Sicherheitsvorfälle
     Analyse und Schlussfolgerungen aus den Vorfällen
     Risikoassessment
     Stateless Remote Boot
     Business Continuity
     Sicherheitskonzept und Umsetzungen
     Evaluation / Modifikationen Betriebsmodell
     Anstehende Aktivitäten

16.03.2021             28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   2

Ausgangslage I

 Zunehmende Professionalisierung der Hackerszene auf der
  einen Seite
        -    Von “Skript-Kiddies” zu Cyber-Kriminellen
        -    Hoher Organisationsgrad
        -    Staatliche Förderung (nicht nur in Nordkorea…)
        -    APT – Advanced Persistent Threats
 Organisch gewachsene IT-Strukturen auf der anderen Seite
        -    IT-Sicherheit als beiläufig mitgedachte Komponente (“muss laufen”)
        -    Geringer Personalaufwand, wenig Problembewusstsein - solange “nichts”
             passiert...
        -    Selbststudium und “Best Effort” statt strukturierten Lösungsansätzen
        -    Schwächstes Glied in der Kette sind die Endnutzer, oftmals Ausgangspunkt von
             erfolgreichen Angriffen - zu wenig Informationstransfer

16.03.2021                       28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   3

Ausgangslage II

 Rahmen – IT Security an der Universität Freiburg
        -    Große Forschungsuniversität mit teilweise stark zersplitterter IT-Landschaft
        -    Für das alte Rektorat nicht die Thematik mit der höchsten Priorität
        -    Kaum zentrale Steuerung des Themas, damit keine Vorgabe oder Strategie
        -    Inzwischen Besserung in Sicht
 Positive Entwicklungen
        -    Langjährige Betriebserfahrungen mit großen PC-Pool und Compute
             Infrastrukturen
        -    Steigendes Verantwortungsbewusstsein gegenüber Nutzenden
        -    Zunehmende Einbeziehung der wissenschaftlichen Communities (Beispiel:
             HPC Cluster-Beirat)
        -    Zunehmende Einbeziehung der dezentral eingesetzten Systemadministratoren

16.03.2021                        28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   4

Konsolidierung zu LSDI

 Large Scale Digital Infrastructures: Von Instituts-Servern
  zu zentral gemanagten Diensten
 Von organisch gewachsenen Diensten zu professioneller
  IT-Security - ein langer Weg
 Vorteil: Regulatorische Vorgaben statt “Einzelkämpfer”
 Nachteil: Durch Aggregation von Ressourcen höhere
  Attraktivität für Angriffe
        -    “Hack Once, Score Big”
        -    Mehr Identitäten zum Abfischen (für nachfolgende Attacken)
        -    Mehr Compute-Power, Bandbeite (z.B. für Mining, DoS)
        -    Mehr Daten zum Ausspionieren (aber auch: größerer Heuhaufen)

16.03.2021                       28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   5

Abt. eScience des RZ

 Verantwortlich für große
  Forschungsinfrastrukturen
  (LSDI)
        -    HPC: bwForCluster NEMO
        -    bwCloud und de.NBI Cloud
        -    bwSFS (FDM Storage)
 Sehr große Installationen                                                              Freiburg
  am Campus
        -    Deutlich über 1000 Compute
             Knoten (HPC + Cloud)
        -    500 (850) Pool und öff. PCs für
             Lehre und E-Klausuren
 Verfügbarkeit und
  Integrität zentrale Aspekte

16.03.2021                       28. DFN-Konferenz "Sicherheit in vernetzten Systemen"              6

Jüngere Sicherheitsvorfälle

 Jüngst: MS-Exchange
 Großflächiger Angriff auf
  IT-Struktur in Gießen und
  andere Einrichtungen
 Aus eigener Erfahrung:
  HPC-Einbruch in Freiburg
        -    Kein eigenes Alerting sondern
             durch aufmerksames Verfolgen
             einer Security Mailingliste
             (Europ. Grid Initiative)
        -    Untersuchung der eigenen
             Systeme auf verdächtige
             Spuren: Bingo
        -    Anlaufen des Presserummels

16.03.2021                      28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   7

Anatomie des Angriffs

 Vorgefundene Spuren
        -    Modifiziertes SSH-Binary (/usr/bin/ssh), welches auch auf anderen
             kompromittierten Systemen zwischen November 2019 und März 2020
             auftauchte
        -    Speicherte Usernames, Passwörter und SSH-Ziele in plaintext in
             /usr/lib64/.lib/l64
        -    Erste Modifikation des Systems anhand von Login-Einträgen auf Januar
             vermutet (in der Zwischenzeit Reboot des Systems, so dass Neuinfektion
             notwendig wurde)
        -    Angriffsvektor – gestohlene Login-Credentials (Login eines Users aus
             kompromittierter Site)
        -    Ungeschützte private SSH-Keys, welche teilweise auf mehreren Systemen
             zum Einsatz kamen
        -    Intelligentes Vorgehen der Angreifer (kein Schrotschuss/Brute-Force für
             weitere Einbrüche)
        -    Anschließend Privilege Escalation durch (unbekannte) Sicherheitslücke
        -    Modifikation des Systems incl. (lokaler) Logfiles

16.03.2021                        28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   8

Breitere Untersuchungen

 Tiefere Analyse des gesamten Systems
        -    Weitgehende Isolation der betroffenen Maschine vom äußeren Netz
        -    Suche nach verdächtigen Aktivitäten zu Command & Control Servern
        -    Unklar, warum nur eine von vier exponierten Maschinen
        -    Sperren betroffener Accounts
        -    Risikoabschätzung für den Weiterbetrieb
        -    Abstimmung im Land
 Erkenntnisse zu Exploits
        -    Spuren nur auf zwei HPC-Systemen nach längerer Suche gefunden
        -    Könnten Abwandlungen des proof-of-concept codes für CVE-2017-88901
             und CVE-2018-9568 gewesen sein
        -    Weitere pot. Exploits diskutiert, jedoch keine Spuren hierzu gefunden
             (CVE-2019-15666, CVE-2018-14634, CVE-2017-16939, ...)

16.03.2021                        28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   9

Aufarbeitung

 Gemeinsames Vorgehen in BaWü im Rahmen von
  bwInfoSec (gesteuert in Heidelberg)
 In diesem Rahmen tiefere Analysen
        -    Modifizierten SSH-Binary in Freiburg
        -    Backdoor an anderen Standorten in /etc/fonts/.fonts (privilege escalation)
             bzw. .low (logfile modification)
        -    Keine Einschränkung der Vulnerabilität der Systeme auf bestimmte
             Distributionen
 Motivation der Angreifer weitgehend unklar (Spekulation
  auf Crypto-Mining, Botnet, Covid ...)
 Gemachte Fehler bei der Aufarbeitung in Freiburg und
  Erkenntnis, dass bisheriges Betriebsmodell nicht
  ausreicht

16.03.2021                        28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   10

Kostenabschätzungen

 Basis für Risikoassessment
 Sehr kurze Betriebsunterbrechung in Freiburg, teilweise
  deutlich anders an weiteren Standorten
 Kosten-Risiko-Abschätzung möglicher Kosten für
  Freiburg
        -    Orientierung: Abschreibung des Systems mit 2500+€/Tag, Stromkosten ca.
             1/3 der Abschreibungssumme
        -    Wohl keine Nutzung der Compute-Power oder Storage-Kapazität die in
             typischen Hacks beobachtet werden, keine DoS
        -    Kurzzeitig eingeschränkter Betrieb/Zugriff
        -    Theoretischer Schaden: 30.000€ für 10 Tage Stillstand (an anderen HPC-
             Standorten teilweise länger kein Produktivbetrieb)
        -    Personalbindung: Ca. 2 Personenwochen für Analyse, Aufarbeitung,
             Nutzerkommunikation, Beantwortung von Presseanfragen (ca. 3500€)

16.03.2021                        28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   11

Stateless Remote Boot

 Ursprünglich “Beliebiges” Skalieren der Zahl von
  betriebene PCs, auch parallel zu bestehenden
  Infrastrukturen
 Spezielle Desktop-Virtualisierung
 Eigens entwickeltes Network Block Device für hohe
  Redundanz und Performance
 Basis ebenfalls für das Deployment von Compute Knoten
  in Cloud und HPC
 Teilweise Virtuelle Forschungsumgebungen als
  Abstraktion von der konkreten Hardware

16.03.2021           28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   12

Stateless Remote Boot – bwLehrpool

 Üblicher LAN-Boot-Ablauf mit Entscheidungsoption
        -    Konfigurierbares PXE-Boot-Menü (z.B. auch für Desaster Recovery Option)
        -    (Virtuelle) Arbeitsumgebung

16.03.2021                       28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   13

Stateless Remote Boot – bwLehrpool

 Vorbereitung einer Desaster-Recovery-Umgebung neben
  sonstigen Standardumgebungen
        -    „Notausstattung“ mit Basiswerkzeugen für Nutzer
        -    Je nach Auth. Zugriff auch auf persönliche Ressourcen, wie Homelaufwerk
             möglich

16.03.2021                       28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   14

bwLehrpool – Konfiguration

 Maschinen in vielfachen Gruppenbildungen konfigurierbar

16.03.2021           28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   15

bwLehrpool – Client Statistik

 Vielfältige Informationen zu gebooteten Maschinen

16.03.2021            28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   16

Business Continuity

 “Akzeptanz von Einbrüchen, aber dann wie weiter!?”
 Einbruch als Anlass für weitere Überlegungen →
  Weiterentwicklung des Sicherheitskonzepts
 Herstellung der (Wieder-)Verfügbarkeit
 Weg vom organisch gewachsener Umgebung zur
  strukturiert erstellten IT-Landschaft
 Entwickeln von Best-Practices für zukünftige
  Betriebsmodelle, Business Continuity als Planungskriterium
 Erkenntnis: Einbrüche auf Multi-User-Systemen nicht zu
  100% verhinderbar, Ziel möglichst schnelle Erkennung und
  Begrenzung der Ausbreitung

16.03.2021           28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   17

Security Domains

                                                     Aufteilung in klar
                                                      abgegrenzte
                                                      Funktionsbereiche
                                                              -     Sicherheitszone 1:
                                                                    Zugangsverwaltung für
                                                                    Administration
                                                              -     Sicherheitszone 2: Persistenter und
                                                                    abgesicherter Speicher
                                                              -     Sicherheitszone 3: Dienste
                                                              -     Sicherheitszone 4: User-Domain
                                                     Netzwerksegmentierung
                                                     Aufgabenverteilung innerhalb
                                                      der IT-Organisation

16.03.2021           28. DFN-Konferenz "Sicherheit in vernetzten Systemen"                    18

Schutz des Netzwerks

 Entfernen der meisten Maschinen (und Dienste) aus dem
  öffentlichen Netz
 Spezielles öffentliches Netz für die Cloud (außerhalb des
  primären öffentlichen IP-Bereichs der Universität)
 Anstreben einer weitergehenden Netzwerksegmentierung
  für den gesamten Campus
        -    Eigenes internes Netz für PC-Pools
        -    Abschottung der Services-Netze für HPC und Cloud-Betrieb
        -    Eigenes IPMI-Netz
 Minimierung eines unvermeidbaren Risikos durch
  Reduktion der potenziellen Angriffsvektoren – Allow-List
  für HPC-Systeme – Freischaltung der Adressbereiche
  der in bwHPC beteiligten Hochschulen

16.03.2021                       28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   19

Zone 1: Administrativer Zugang

 Zentrale Server brauchen erhöhten Schutz
 Eigenes Netzwerksegment für Server IPMI
 Zugriff eingeschränkt durch Firewall (nur erlaubte Admin-
  Rechner) oder VPN (nur authentifizierte Admins)
 Nutzung eines Jumphost (ProxyJump) - keine Passwörter
  oder Passphrases innerhalb des Systems eingeben
 End-to-End Verschlüsselung bei SSH-Verbindungen
  (Nutzung des SSH-Agent liefert das nicht!)

16.03.2021           28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   20

Zone 2: Storage als Sicherheitskern

 Einsatz professioneller Storage-Appliances mit
  verschiedenen Absicherungsstrategien
        -    Üblicherweise nur durch Speicherprotokolle exponiert, dabei Beschränkung
             auf Campus bzw. notwendige Netzwerksegmente
        -    Eingebaute Redundanzen und Sicherheitsfunktionen, wie readonly Snapshot-
             Historie und Backups
 Quelle der Templates, Konfigurationen und System-Images
 Ziel für Logfiles, Laufzeitinformationen und Dienstzustände

16.03.2021                       28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   21

Datenflussrichtungen

 Lesender und schreibender Zugriff auf Datenbanken und
  Konfigurationen für Sicherheitszone 3 (Dienste), ebenso
  für Laufzeitdaten der Dienste
 Nur-Lese-Zugriff (Readonly) für System-Images und
  andere nicht durch nachgeordnete Sicherheitszonen zu
  verändernde Daten
 Nur-Hinzufügen-Zugriff (Append-Only) ist beispielsweise
  für Log- und Monitoringdaten relevant, um nachträgliche
  unerkennbare Modifikationen zu unterbinden (Nutzung
  z.B. von Features des Object Storage)
 Ziel: Absicherung von unveränderbaren Daten, wie
  beispielsweise Systemimages per crypt. Prüfsumme
 Überlegungen zu klaren Workflows

16.03.2021           28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   22

Zone 3: Services

     Services-Setup via Ansible und Co.
     Sicherung und Versionierung in Gitlab
     Teilweise Einsatz von Containern
     Durch Konfigurationen und Rezepte wiederherstellbar
     Migration, schnelles Aufsetzen auch nach Angriffen
      möglich

16.03.2021             28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   23

Zone 4: User-Domain

 Öffentlicher Bereich: entweder weltweit per Internet
  (HPC) oder PCs in allgemeiner zugänglichen Räumen
  auf dem Campus
 Zustandsloser Betrieb aller Maschinen
        -    Konfiguration auf Ebene der Boot-Server
        -    Logging in Richtung abgesicherter Infrastruktur

16.03.2021                        28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   24

Evaluation

 Positive Erfahrungen mit PC-Pools, skalierende Boot-
  Lösung für sehr vielfältigen Gerätepark
        -    Leichte Erweiterbarkeit auf weitere Pools vielfach im Rahmen von E-
             Prüfungen erprobt
        -    Ebenso für Kiosksysteme mit voreingestelltem Browser/URL o.ä.
        -    Primär von Netzkonfiguration in zentralem DHCP-Service abhängig
             (üblicherweise zwei Felder: NextServer, FileName; oft für größere Scopes
             definierbar)
        -    Alternativ: Einsatz von USB-Boot-Sticks mit minimalem Basissystem
 Zeit für Desaster-Recovery nur durch Proxy abschätzbar:
  Einführung an neuem Standort in weniger als einem Tag
 Remote Boot bekanntes Konzept für Machine
  Redeployment, Check etc. unabhängig vom Inhalt der
  lokalen Festplatte

16.03.2021                       28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   25

Evaluation

 Machbarkeitsuntersuchungen für den Einsatz von TPM
  auf öffentlichen Desktop-PCs
 Verbessertes Konzept für Verschlüsselung der lokalen
  Festplatten (für Reproduktion von Systemzuständen)
 Verschärftes Zugriffskonzept für die Admin-Domain
 Blacklisting von Command & Control-Servern durch
  Netzgruppe
        -    Überwachung, ob vom Campus versucht wird auf solche Systeme
             zuzugreifen

16.03.2021                     28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   26

Anstehende Aktivitäten

 Ausrollen einer breiten 2FA für HPC-Systeme: LinOTP
  als Backend, unterstützt OTP über Software-
  Authenticator oder HW-Token (z.B. YubiKey)
 2FA im Kontext von Identity-Föderationen, so dass
  breiterer Einsatz auch für andere Systeme erleichtert
  (laufender Projektantrag bwIDM2)
 Überlegungen zum Einsatz von TPM in PC-Pools;
  Überlegung für die Ausschreibung des NEMO II
 Weiteres Vorantreiben der Netzwerksegmentierung
 Durchsetzung eines IT-Inventory-Management
 Planung und Review des Betriebsmodells von NEMO II
 Konsequentes Testen der Konzepte

16.03.2021           28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   27

Anstehende Aktivitäten

 Verbesserte Sicherung von Spuren auf Systemen
        -    Im Systembetrieb blockweise Deltas zu gemeinsamen Basisimage –
             potenziell sehr effiziente Form forensischer Sicherung
        -    Konzeptionelle Überlegungen des Setups (Schlüsselverwaltung)
 Breiterer Einsatz von Geo-Blocking
        -    Für viele Dienste recht gut bestimmbar
 Bestimmung noch offener Abhängigkeiten für ein
  Recovery
        -    Implizite Annahmen über Verfügbarkeit bestimmter Ressourcen
        -    Angreifbarkeit der Basisinfrastrukturen, wie Maschinensaal- bzw.
             individuelle Schranksteuerung
 Vorbereitung auf die IPv6-Welt

16.03.2021                       28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   28

Vielen Dank fürs Zuhören!

                                          Abt. eScience
                                          Rechenzentrum Uni Freiburg
                                          0761 – 203 4602
                                          dirk.von.suchodoletz@rz.uni-
                                          freiburg.de

16.03.2021           28. DFN-Konferenz "Sicherheit in vernetzten Systemen"   29