Datenbank-Monitoring für das nächste Jahrzehnt - Fabian Greis - DOAG
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Datenbank-Monitoring für das
nächste Jahrzehnt
Fabian Greis
Datenbank-Monitoring für das nächste
Jahrzehnt (ca. 526 Wochen)
(Naja ….. eher eine Beschreibung der aktuellen Lage,
neueren Herausforderungen und hoffentlich eine
Diskussion, was uns in Zukunft erwartet und wie wir es von
Tag 1 im Griff haben, aber dann wäre der Titel zu lang und
doof, aber man kanns ja am Anfang des Vortags erwähnen
oder in eine lange Wall of Text schreiben. Liest bestimmt
eh keiner, deswegen grüße ich an dieser Stelle meine
Mama.)
www.carajandb.com
2
DISCLAIMER
• Der Redner ist:
• Jung (naja, 25)
• Dumm
• Naiv
• OEM und Check_MK Fan
• Der Redner ist nicht:
• Zukunftsforscher
• Experte für die später angesprochenen Technologien
www.carajandb.com 21.11.2019 3
DISCLAIMER
• Ruft rein!
• Unterbrecht mich!
• Widersprecht mir!
• Werft Tomaten!
• Erzählt nen kurzen Schwank, warum das alles Quatsch ist was ich sage!
• ABER: Bitte mit dem Ziel, über die Herausforderungen die uns im Monitoring
erwarten, zu diskutieren.
• Haben wir schon immer so gemacht, gibt’s nicht.
www.carajandb.com 21.11.2019 4
… über mich
• Ausbildung zum Informatikkaufmann
• Windows Admin seit 2015
• Oracle DBA seit 2016
• OEM Admin ebenso lange
• PostgreSQL DBA seit 2017
• Hobbies:
• IT-Bastler
• Gaming (Zuhause oder auf LAN)
www.carajandb.com 18.11.2019 5
… über mich und Monitoring
• Migration mehrerer OEMs von Version 12 auf 13
• Aufbau einer neuen OEM Umgebung als Ablösung eines instabilen OEMs
• Hochverfügbar + Disaster Recovery
• Migration alter Ziele, Jobs, Metriken etc
• Maintenance OEM
• Debug/Notfall Monitoring (Always-Online)
• CheckMK Umgebung für Infrastruktur, Oracle und PostgreSQL
• KSHost Infrastruktur Aufbau
• Foglight Beratung
www.carajandb.com 18.11.2019 6
Agenda
• Was ist Monitoring?
• Wie siehts aktuell aus?
• Was kann man tun?
• Wie geht es weiter?
• Werbung!
www.carajandb.com 18.11.2019 7
Was ist Monitoring?
Und warum tu ich mir den Stress an?
Was ist (IT-)Monitoring?
• IT-Monitoring bedeutet:
• [Dauer]beobachtung [eines bestimmten Systems]
• Monitor (von lat. monere ‚ermahnen, warnen‘)
• Alarmierung
• IT-Monitoring bedeutet nicht:
• Fehlerkorrekturen
• Ticketverwaltung
• Reporting
www.carajandb.com 18.11.2019 9Muss das denn sein?
Nicht zu wissen was in einer Datenbank passiert, ist ein sicherer Weg einen
produktiven Stillstand zu erzeugen.
www.carajandb.com 10Muss das denn sein?
Nicht zu wissen was in einer Datenbank passiert, ist ein sicherer Weg einen
produktiven Stillstand zu erzeugen.
- Fabian Greis, 21.11.2019, Nürnberg
www.carajandb.com 11Aber warum denn?
• Häufige Klagepunkte:
• Ich hab doch nur x Datenbanken..
• Wir haben aber nicht genug Leute die sich darum kümmern..
• Das ist doch nicht meine Aufgabe als DBA!
• Was?! Die Entwicklungsumgebung auch noch?
• „Wir nutzen unsere Anwender als Monitoring“
- Jemand der hoffentlich keine Verantwortung trägt
www.carajandb.com 12Wie siehts aktuell aus?
Schrödingers ServerOracle über Monitoring
Jetzt nehmt doch endlich den Oracle Enterprise Manager
für all eure Sorgen!
- Irgendwer bei Oracle, vermutlich
www.carajandb.com 20.11.2019 14PostgreSQL über Monitoring
Panisches Schweigen
www.carajandb.com 18.11.2019 17PostgreSQL
• https://wiki.postgresql.org/wiki/Monitoring
www.carajandb.com 20.11.2019 18Ich über Monitoring www.carajandb.com 20.11.2019 19
www.carajandb.com 20.11.2019 20
https://imgflip.com/i/21gpz9Aktuelle Lage
• Vereinzelte Systeme für verschiedene Zwecke
• Beispiel OEM für Oracle, PEM für PostgreSQL und Nagios für die Infrastruktur
• Verschiedene Benachrichtigungen wie SNMP, E-Mail, Tickets, Anrufe
• Nachrichtenflut
• Überwachung selten koordiniert
• Fire-and-Forget Struktur und Betrieb
• Falschmeldungen
www.carajandb.com 18.11.2019 21Die Herausforderungen Oracle Cloud Infrastructure, AWS, AZURE, Google Cloud, Alibaba Cloud, Open Telekom Cloud, Docker, Kubernetes, OpenShift, WLAN,DLAN, IOT, Blockchain, Releasezyklen und was weiß ich
„Neue“ Herausforderungen
• Cloud
• DevOps und agiles Arbeiten
• Container
• Virtualisierung(!)
• BYOD
• WLAN
• IoT
• Blockchain
• User Experince Monitoring
www.carajandb.com 18.11.2019 23Cloud www.carajandb.com 18.11.2019 24
Cloud www.carajandb.com https://www.forbes.com/sites/louiscolumbus/2018/09/23/roundup-of-cloud-computing-forecasts-and-market-estimates-2018/#5efa652f507b
Cloud
• Also: Die Cloud kommt
• vielleicht nicht überall und für alles, aber sie kommt
• Infrastruktur Monitoring entfällt zum großen Teil
• Dafür ist Performance und Erreichbarkeit umso wichtiger
www.carajandb.com 20.11.2019 26www.carajandb.com 27
Cloud
• Aber wie monitort man dutzende fremde Umgebungen?
• gar nüscht
• Pro Unternehmen gibt es selten mehr als 1-2 Anbieter
• Meistens nur Erreichbarkeitsüberwachung möglich
• oft angewiesen auf Anbietertools z.B.
• Azure Monitor
• Amazon Cloud Watch
• löbliche Ausnahmen:
• Oracle Enterprise Manager CLOUD Control (Oracle Cloud Infrastructure)
• AppDynamics (AWS)
• (DISCLAIMER: Das ist meine Erfahrung, wenn jemand andere Monitoring Tools mit nahtloser Cloud
Integration kennt, gerne melden, schreien, Rauchzeichen)
www.carajandb.com 18.11.2019 28WLAN
• Nicht direkt eine „neue“ Technologie
• Neu ist aber der Verzicht auf kabelgebundene Infrastruktur außerhalb des
Rechenzentrums
• Aber was gibt’s schon außerhalb meines RZs?
• Kritische mobile oder freistehende Systeme
• STEMPELUHREN
• Wandterminals
• Bagger, Krähne, Drehmaschinen und andere Kleinteile
• Anwender
www.carajandb.com 18.11.2019 29WLAN
Chef? Reicht dir ein Balken für die Brücke?
https://subspacecommunique.com/content/2009/06/17/company-angels-set-honor-leonard-nimoy-hollywood-gala 30WLAN
• Auslastung beachten
• Großzügig dimensionieren
• Eventuell kleine Messpunkte einführen
• oder den neuen Überwachungsbeauftragten mit nem Handy losschicken
• Pingtests
• Obacht: Lasttests und zu viele Pings können die Performance stärker beeinträchtigen als man
es Kabelgebunden gewohnt ist.
• Anzahl der Geräte im Blick behalten
• Schwachstellen im Blick behalten
• Gewissenhaft verschlüsseln
www.carajandb.com 18.11.2019 31Container
• Monitoring technisch das Gegenteil der Cloud
• Grade die Infrastruktur ist entscheiden
• Anwendungen oft Microservice
• Performancesonden in Image einbauen
• Billigbeispiel crontab
• * * * * * top –n 1 –b > /u05/nfs/“`date`_wichtiger_container“.log
• Allgemeine Tools wie Dynatrace können helfen
www.carajandb.com 18.11.2019 32DBs in Containern
• Oracle
• mein persönlicher nicht getester Vorschlag:
• shared Enterprise Manager Agent auf NFS und emcli add target script?
• Meinungen?
• PostgreSQL
• nicht mal mein persönlicher nicht getesteter Vorschlag:
• Thiago Lopes hat sich was feines, aber nicht einfaches ausgedacht:
• Im Grunde bringt er Docker Container DNS bei und lässt Sonden rausschreiben
• https://severalnines.com/database-blog/how-monitor-postgresql-running-inside-docker-container-part-one
• https://severalnines.com/database-blog/how-monitor-postgresql-running-inside-docker-container-part-two
www.carajandb.com 18.11.2019 33Container
• Das Wissen des Redners ist hier eingeschränkt.
Hat jemand produktive Docker Container und wenn ja, wie werden diese
überwacht?
www.carajandb.com 18.11.2019 34bring your own device
• Je nach Unternehmens Philosophie verschwimmen die Grenzen zwischen
privatem und professionellem Equipment
• POCE oder COPE
• Personally owned, company enabled
• Was darf ich hier überhaupt überwachen?
• Die Kommunikation mit dem Unternehmensnetzwerk, ansonsten praktisch nichts*
• Corporate owned, personally enabled
• Was darf ich hier nicht überwachen?
• Kommt auf die Nutzung und Vereinbarung an.
*http://www.it-rechtsinfo.de/byod-rechtsanwalt/
www.carajandb.com 18.11.2019 35Blockchain
• In aller Kürze und stärkstens vereinfacht:
• Informationen in Blöcken werden hintereinander geschrieben, nach jedem Block ein Hash
gebildet, der nächste Block bezieht sich auf den bisherigen Hash.
• Eine Änderung an Informationen verändert den gesamten hash und ist damit für alle
Teilnehmer der Transaktion sichtbar und nachvollziehbar.
• Stichworte:
• Dezentral gelagert
• Verschlüsselt
www.carajandb.com 20.11.2019 36Blockchain überwachen
• Wat? Blockchain? Der Sinn des Krams ist doch auf sich selbst aufzupassen.
• Ja, schon.
• Aber:
• Beispiel Lieferkette:
• „Wie bitte? Ich hab nicht mitbekommen, das die letzte Fuhre zurückgerufen wurde.“
• „Mooooment: Der Hash ist verändert. Wer von euch Ökobauern war das?“
• Eintragen reicht nicht, Änderungsnachverfolgung ist ein muss.
• Für Bitcoin, Etherum etc:
• https://www.blockchain.com/de/explorer
• Für alles andere:
• ….
• Vielleicht ein guter automatisierter Checksummen Rechner der historisiert?
• Hat hier vielleicht jemand schon eine Blockchain abseits der Währungen im Einsatz?
www.carajandb.com 20.11.2019 37Was kann man tun?
Monitoring-as-a-Discipline
• Der „neue“ IT-Sicherheitsbeauftragte
• Credits: Leon Adato von SolarWinds
• https://www.ip-insider.de/die-netzwerkueberwachung-durch-admis-hat-ausgedient-a-
550638/
• Einführung von Überwachungsbeauftragten
• (falls möglich) als zusätzliche Stelle
• Einziges Aufgabengebiet: ÜBERWACHUNG
• … und gerne auch Auswertungen zu Verfügbarkeit
www.carajandb.com 21.11.2019 39Der Überwachungsbeauftragte
• Soll:
• Verantwortung über das Monitoring haben
• Einen genauen Überblick über die gesamte Infrastruktur haben
• Auswertungen zu Performance und Verfügbarkeit erstellen
• Soll nicht:
• Switche reparieren
• Administrationsaufgaben übernehmen
www.carajandb.com 18.11.2019 40Monitoring und Alarmierung zentralisieren
• Admins erhalten Alarme von einem System (Bsp: Check_MK)
• andere Systeme melden ans Hauptsystem, nicht die Admins.
• Redundante Tools sollten entfernt werden
www.carajandb.com 18.11.2019 41Right Tool for the right Job
• Check_MK für Infrastruktur und Datenbank Erreichbarkeit
• OEM oder Foglight für Oracle Performance
• Anzahl der verschiedenen Systeme so gering wie möglich, so viele wie nötig
www.carajandb.com 18.11.2019 42Neue Wege
• Warum nicht mal unser Alarming mit Telegram oder Slack umsetzen?
• Reports über einen Zeitrahmen über Vorfälle können Probleme deutlich machen
• Den Überwachungsbeauftragten auch mal auf die Finger klopfen lassen
www.carajandb.com 18.11.2019 43Wie geht es weiter?
Zukunftsprognosen
• Bis 2022 werden über 60 Prozent des globalen BIP digitalisiert sein
• Bis 2023 werden 75 Prozent aller IT-Ausgaben für Technik bei Drittanbietern getätigt
• Bis 2022 werden über 40 Prozent der Cloud-Installationen mit Edge-Computing-Fähigkeiten (dezentraler
Rechenleistung) erweitert sein und 25 Prozent der Endgeräte und -systeme werden KI-Algorithmen ausführen
• Bis 2022 werden 90 Prozent aller Anwendungen über Microservices-Architekturen verfügen
• Von 2018 bis 2023 werden mit neuen Tools und Plattformen, mehr Entwicklern, agilen Methoden und
intensiver Code-Wiederverwendung 500 Millionen neue Anwendungen erstellt – so viele wie in den letzten 40
Jahren.
• Bis 2022 werden 50 Prozent aller transferierten und gespeicherten Server-Daten verschlüsselt sein, KI-
Anwendungen werden über 50 Prozent der Sicherheitswarnungen verarbeiten und 150 Millionen Menschen
werden digitale Identitäten auf Blockchain-Basis verwenden.
https://www.it-business.de/die-zukunft-der-it-branche-a-771522/
www.carajandb.com 18.11.2019 45Und was mach ich jetzt?
1. Wissen das sich Dinge ändern werden.
2. Überblick erlangen. Was setzt meine Firma ein und was könnte kommen?
3. Zentrale Stellen schaffen (Sicherheits-, Überwachungs-, Lizenzbeauftragter).
4. Monitoring und Alarmierung zentralisieren
5. Allgemeine Tools für kritische Bereiche, spezialisierte Tools für Randbereiche
6. Gut nach Hause kommen
7. Fabian in einer E-Mail schreiben, was für absurde Vorfälle euer Monitoring
anrichtet oder wie ihr mit dynamischen Microservices umgeht. Er würde sich
freuen.
www.carajandb.com 18.11.2019 46Wie versprochen: Werbung
CarajanDB
• Experten mit über 25 Jahren Oracle Erfahrung
• Firmensitz in Erftstadt bei Köln
• Spezialisten für
• Oracle Datenbank Administration
• Hochverfügbarkeit (RAC, Data Guard, Failsafe, etc.)
• Einsatz der Oracle Standard Edition
• Oracle Migrationen (HW, Unicode, Standard Edition)
• Replikation
• Performance Tuning
• Datenbank Cloning (Delphix, Actifio, CloneDB)
• Fernwartung
• Schulung und Workshops (Oracle, Toad)
www.carajandb.com 18.11.2019 48Nächste Termine
• DOAG Konferenz und Ausstellung 19 bis 23. November
• 20.11 13:00 Uhr Geliebter Feind „Der DBA und DevOps“
• 21.11 12:00 Uhr Datenbank-Monitoring für das nächste Jahrzehnt
• 21.11 13:00 Uhr Alternativen zur Enterprise Edition der Oracle DB
• 22.11 ganztägig PostgreSQL für Oracle DBAs
• Frankfurter IT Tage 9. bis 12. Dezember in Frankfurt
• 12.12 09:00 Uhr Alternativen zur Oracle Enterprise Edition
• DOAG Noon2Noon „Oracle auf VMware“ 23. bis 24 Januar 2020 München
• DOAG Konferenz 2029 „Datenbank-Monitoring aus dem letzten Jahrzehnt“
www.carajandb.com 18.11.2019 49Kontakt
• E-Mail: fabian.greis@carajandb.com
• Homepage: www.carajandb.com
• Adresse:
• CarajanDB GmbH
Siemensstraße 25
50374 Erftstadt
• Telefon:
• +49 (22 35) 1 70 91 86
• +49 (1 75) 7 25 98 90
• Twitter: @carajandb
@FabianGreis
• Blogs:
• blog.carajandb.com
• www.toadworld.com
www.carajandb.com 18.11.2019 50Sie können auch lesen
