Hilfreiche Tools für den täglichen Exadata-Betrieb (Teil 2)
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Engineered Systems
Hilfreiche Tools für den täglichen
Exadata-Betrieb (Teil 2)
Michael Schulze, Opitz Consulting Deutschland
Wer sich im Zuge der Konsolidierung seiner Oracle-Datenbanken für eine Exadata-Datenbanklösung
entscheidet und diese in den Betrieb bringt, weiß, dass sie als Cluster-Umgebung für besonders kri-
tische Datenbanken intensiv genutzt und in naher Zukunft ein Wachstum erfahren wird. Nicht selten
müssen Administratoren hier mehr als 100 Datenbankinstanzen versorgen, verteilt auf verschiedene
Systembereiche, wie zum Beispiel Test, Stage und Prod, mit den unterschiedlichsten Verfügbarkeitsan-
forderungen. Für die Sicherstellung der Verfügbarkeit kommt oft RAC und Oracle Data Guard (Standby-
Lösung 2. Standort) zum Einsatz. In diesem komplexen Kontext sind passende Analyse-Tools eine
Grundvoraussetzung, um den Überblick zu behalten und einen sicheren sowie reibungslosen System-
und Datenbankbetrieb zu gewährleisten. Geeignete Tools liefern eine strukturierte Dokumentation von
Einzelkomponenten und Systemständen und helfen bei Patch-Unterstützung, Housekeeping, Monitoring
und vielem mehr. In dieser zweiteiligen Artikelserie stelle ich Ihnen einige Werkzeuge vor, die sich bei
der Unterstützung des Exadata-Betriebs in unserem Kundenumfeld bewährt haben. Darunter finden
sich nicht nur Oracle Tools für die Betriebsunterstützung, sondern auch eigene oder frei verfügbare
Skripte. Im ersten Teil der Artikelserie, der im Red Stack Magazin 2/2020 erschienen ist, ging es um
Tools zur Dokumentations- und Patchingunterstützung. Der zweite Teil in dieser Ausgabe behandelt
Hilfsmittel für das Housekeeping, Monitoring und zentrale Analysewerkzeuge.
48 www.aoug.at • www.doag.org • www.soug.ch
Housekeeping auf Exadata -days Bereinigen von orcl, tfa, osw, oak-Protokollen/Traces
Die Verwaltung komplexer Oracle- -orcl Nur GI / RDBMS-Protokolle/Traces behandeln
Systeme wie Exadata ist für Datenbank-
-tfa Nur TFA-Repository-Daten behandeln
administratoren keine leichte Aufgabe.
Eine der größten Herausforderungen ist -osw Nur OSWatcher-Archive behandeln
die stetige Bereinigung von Traces und
-oda Nur OAK / DCS-Protokolle entfernen (nur ODA)
Protokollen, die von einer Vielzahl von
Komponenten und Prozessen des Sys- -extra '': Nur Dateien in benutzerdefinierten Ordnern löschen
tems erstellt werden. Zu nennen wären
hier Komponenten wie Cluster, Grid Inf- Audit-Protokolle basierend auf der Option
-aud
'-orcl ' behandeln
rastructure (GI), RDBMS, AHF/TFA etc. So
können bei Systemen mit mehr als 100 -lsnr Bereinigung des Listener-Logs unabhängig vom Alter
laufenden Datenbankinstanzen schon
innerhalb sehr kurzer Zeit große Men- -dryrun Zeigt die Befehle an, ohne sie auszuführen
gen an Logfile-Informationen entstehen.
-h Hilfefunktion
Werden diese Informationen nicht peri-
odisch konsequent bereinigt, kann dies Tabelle 1: purgeLogs – Parameter und Optionen
schnell zu Problemen mit dem Filesys-
tem und zu Betriebsausfällen führen.
Deshalb ist ein sauberes Housekeeping • Audit Files Enterprise Manager Cloud Control
als Grundvoraussetzung für einen sta- • Listener Logs
bilen Datenbankbetrieb auf der Exadata • Oracle GI/RDBMS Logs und Trace Files Im Exadata-Umfeld findet häufig der
unerlässlich. • TFA Repository, OS-Watcher Logs Oracle Enterprise Manager Cloud Con-
Ich möchte hier zunächst auf das Au- • Angabe spezifischer Verzeichnisse (ex- trol (kurz CC) Anwendung. Der CC ist in
tomatic Diagnostic Repository (ADR) ein- tra Option) der Lage, durch die Implementierung ent-
gehen, das mit der Oracle-Datenbank • Housekeeping auf ODA (oda Option) sprechender Plug-ins auch komplexe Exa-
11g eingeführt wurde. Oracle hat mit data-Umgebungen mit ihren Komponen-
dem ADR eine einheitliche hierarchi- In der Praxis sieht das so aus: Das Skript ten bis auf Hardwareebene effizient zu
sche Repository-Verzeichnisstruktur für muss als root-User auf jedem Database- verwalten. Jedoch sind die Administration
Log- und Trace-Daten eingeführt. Diese Node der Cluster-Umgebung separat aus- und Verwaltung des CC sehr vielschichtig,
Struktur vereinfacht die Verwaltung der geführt werden. Im besten Fall wird es aufwendig und komplex.
Daten erheblich. Zur zentralen Verwal- über die root crontab des Nodes zur peri-
tung kann das Commandline-Interface odischen Ausführung eingeplant. Additionales Skript: rac_status.sh
ADRCI genutzt werden, das viele Befeh- Tabelle 1 zeigt eine Zusammenfas-
le zur Verwaltung enthält, wichtige wä- sung der purgeLogs-Parameter und -Op- Für einen schnellen Überblick über den
ren hier: tionen, die teils auch kombiniert werden RAC-Cluster kann ich im Exadata-Umfeld
können. Der Default-Wert für die Daten- ein frei verfügbares Skript von Fred Denis
• view log / tracefiles haltung liegt bei 30 Tagen, kann jedoch namens „rac_status.sh“ empfehlen. Das
• purge log / tracefiles über den Skript-Tag modifiziert Skript steht auf dieser Seite zur Verfü-
• show incidents, packaging for Oracle werden. gung: https://github.com/freddenis/oracle-
Support Über den Befehl ./purgeLogs -orcl scripts/blob/master/rac-status.sh
30 -tfa 30 -aud -lsnr werden bei- Dieses Skript ist in der Lage, im Ter-
Housekeeping mit purgeLogs spielsweise alle GI / RDBMS Logs und minal eine sehr gute grafische Übersicht
Traces, TFA-Repository-Daten und Audi- über die wesentlichen Bestandteile des
Eine weitere einfache Möglichkeit ist der tinformationen entfernt, die älter als 30 Oracle-Database-Clusters darzustellen.
Einsatz eines von Oracle bereitgestellten Tage sind. Auch die Listener-Logs, die Es wird fortlaufend gepflegt und ent-
Perl-Skriptes namens purgeLogs.pl. Für stark anwachsen können, werden hier hält unter anderem auch Informationen
ein zentrales Housekeeping auf Exadata- bereinigt. über die Exadata-Hardware. Als Alterna-
Systemen mein Favorit! tive oder Ergänzung zum recht komple-
Das purgeLogs-Skript, das unter Doc- xen „crsctl stat res -t“- Output bekommt
ID: 2081655.1 verfügbar ist, ist ein sehr Exadata Monitoring und man hier im Ergebnis einen Gesamt-
einfaches One-Button-Skript, das alle an- Analyzing überblick über den DB-Cluster, der ins-
fallenden Trace- und Protokolldateien in besondere durch die intuitive farbliche
einem RAC-Cluster-Umfeld automatisch Im Folgenden sollen einige Ideen und Darstellung für Übersicht sorgt. In kom-
bereinigt. Die Programmfunktionen des Tipps für das einfache Monitoring von Ex- plexen Umgebungen, bestehend aus
Skripts decken unter anderem die folgen- adata-Umgebungen an Beispielen erläu- mehreren Clustern, kann das Tool eine
den Komplexe ab: tert werden. sehr gute Hilfe sein.
Red Stack Magazin 03/2020 49
Engineered Systems
Abbildung 1: Ein anonymisiertes Beispiel mit dem Aufruf ./rac_status.sh (Quelle: Michael Schulze)
Und so funktioniert es: Da es sich bei file für die Exadata. Die Anwendung die- • Netzwerk/InfiniBand: Diagnose, Hos-
rac_status.sh um ein All-in-one-Skript ser Profile hilft bei der Fehlerdiagnose tinformationen, Net Discover, Switch-
handelt, muss es lediglich mit dem Skript- bis auf Hardwareebene der Exadata. Im Informationen, Topology
namen aufgerufen werden. Der Aufruf Folgenden daher mal ein paar Beispie- • Festplatten/Flashdisks: BIOS-Infos, Tem-
stellt diese Elemente im Überblick dar le und Outputs, die zeigen, wie man die peraturinformationen, MegaCLI64 (Raid-
(siehe Abbildung 1). Exadata-Profile anwendet und welche Infos), Backup-Batterie-Status, Partiti-
Informationen man dem Output entneh- onsinformationen, SCSI-Status, Serien-
• Cluster- und Hardware-Informationen men kann. nummer, PCI-Infos
• Listener mit Name, Port, Status (Node- Mit dem Befehl ./rda.sh -L | grep • Cell-Ebene: RDMA-Device-Info, Cell Coll-
übergreifend) Exadata verschaffen wir uns zunächst ection, Failures
• Datenbanken mit Namen, Versionen, ein Überblick über die im RDA enthalte- • ILOM: Events, Firmware, Netzwerkinfos,
Status, DB-Type/-Role (Node-übergrei- nen Exadata-Profile (Stand RDA 19.X) sie- Sensoren
fend) he Tabelle 2)
• Locations entsprechend der Oracle Die einzelnen Profile decken verschie-
Home(s) dene Hardwarebereiche im Exadata- Autonomous Health
Kontext ab und geben in Form von RDA- Framework
Exadata-Profile Reports detaillierte Informationen zum
jeweiligen Hardwarebereich aus (siehe Unter dem Dach des Autonomous Health
Die neueren Versionen des Remote Dia- Abbildung 2). Die Reports umfassen diese Framework (AHF) wurden viele bekannte
gnostic Agent (RDA) enthalten auch Pro- Bereiche: Tools aus dem Umfeld des Oracle-RAC-
50 www.aoug.at • www.doag.org • www.soug.ch
Profil Beschreibung
EXA Collects Exadata Information
cell Tests Connection to Exadata Cells
exa:default Collects Exadata-specific information
Exadata_Assessment Oracle Exadata assessment collections
Exadata_CellBrownout Oracle Exadata long brownout due to cell
Exadata_CellFailure Oracle Exadata cell failure problems
Exadata_DatabaseCrash Oracle Exadata database crash problems
Exadata_DatabaseHang Oracle Exadata database hang problems
Exadata_FailedDrives Oracle Exadata failed drives problems
Exadata_FlashDrives Oracle Exadata flash drives problems
Exadata_IbSwitch Oracle Exadata IB switch problems
Exadata_Ilom Oracle Exadata ILOM problems
Exadata_ListenerHang Oracle Exadata listener hang problems
Exadata_Network Oracle Exadata general network problems
Abbildung 2: RDA-Report, Aufruf über:
Exadata_NetworkCable Oracle Exadata network cabling problems
./rda.sh -p Exadata_FailedDrives
(Quelle: Michael Schulze) Exadata_RacInstance Oracle Exadata RAC instance problems
Exadata_SickCell Oracle Exadata sick cell problems
Clusters sowie weitere neue Werkzeuge Tabelle 2: Übersicht über die Exadata-Profile (Beispiel)
in ein einziges Framework integriert (siehe
Abbildung 3). Zu nennen wären hier: der
Trace File Analyzer (TFA), cluvfy, exachk/
orachk, oswatcher. Die Zusammenfas-
sung in einem Toolset (AHF) sorgt für
Ordnung im Wirrwarr der vielen verfüg-
baren Werkzeuge. Zu beziehen ist AHF
unter der Doc ID: 2550798.1
Installation des AHF auf Exadata
TFA als ein Bestandteil von AHF, wird un-
ter anderem auch über Grid-Infrastruc-
ture-Patches mit ausgeliefert, dann aber
nicht in der aktuellsten Version. Es ist da-
her ratsam, ihn zusätzlich in einer aktuel-
len Version zu installieren. Die Installation
ist nicht kompliziert und verteilt sich au-
tomatisch auf alle beteiligten Nodes der
Exadata. Zunächst wird dafür die AHF-
Software auf dem System bereitgestellt.
Dann kann die Installation erfolgen, über
den Befehl /ahf_setup.sh.
Per Default wird AHF in das Verzeich-
nis /opt/oracle.ahf installiert, man kann
aber auch ein anderes Verzeichnis wäh-
len. Das Setup prüft bereits installierte Abbildung 3: Überblick AHF (https://www.oracle.com/de/database/technologies/rac/ahf.html)
Versionen, bereinigt diese und verteilt die (Quelle: Oracle)
Red Stack Magazin 03/2020 51
Engineered Systems
Abbildung 4: Überprüfung des Print-Status mit opt/oracle.ahf/tfa/bin/tfactl print status (Quelle: Michael Schulze)
aktuelle Softwareversion automatisch auf
alle beteiligten Database Nodes. In der
Exadata-Umgebung werden hierbei auch
automatisch beteiligte Komponenten wie
DB-Nodes, Cells etc. entdeckt. Abbildung 4
und 5 zeigen, wie der Status der Installati-
on geprüft wird.
TFA: Komponenten
Als zentraler Bestandteil des AHF ist Tra-
ce File Analyzer (TFA) die Schnittstelle zu
sämtlichen relevanten Werkzeugen, die
zur Analyse eines Oracle-RAC-Cluster-
Datenbanksystems notwendig sind.
Tabelle 3 zeigt die Komponenten, die
aktuell zum Umfang des TFA gehören.
Abbildung 5: Überprüfung des Tool-Status mit /opt/oracle.ahf/tfa/bin/tfactl toolstatus tfactl ist das Command-Line Inter-
(Quelle: Michael Schulze) face des TFA, das einige Parameter bie-
tet, um Funktionen direkt aufzurufen.
Mit dem Befehl /opt/oracle.ahf/tfa/
Funktion Beschreibung bin/tfactl menu können alle Kompo-
nenten und Tools des TFA zudem men-
ORAchk bzw. EXAchk Oracle Compliance Checks übasiert erreicht werden. Nach der Ein-
gabe öffnet sich ein ASCII-Menü, über das
procwatcher performance diag, session hangs
zum Beispiel in die Bereiche System Ana-
events logfile warnings + errors lysis, Collections oder Administration mit
den oben genannten Einzelfunktionen
managelogs disk space, purge ADR logs navigiert werden kann.
alertsummary for 1-n alertfiles from nodes
TFA – Use Cases
summary all config
Im Folgenden einige Beispiele der direk-
ls, vi, tail, grep, findstr handles alert.logs + traces
ten Verwendung von TFA-Funktionen.
param show db + os param for pattern
Component Summary mit dem TFA
oswatcher collect os metrics, for node-evic + issues
Über den Befehl /opt/oracle.ahf/tfa/
oratop real time db monitoring
bin/tfactl summary -overview werden
pstack process stack across nodes Node-übergreifend sämtliche Daten ge-
sammelt (siehe Abbildung 6).
dbglevel set CRS trace level
Im Default-Modus gelangt man hier
history for tfactl anschließend in ein ASCII-Menü, das den
report changes for: system setup, db-param, patches in Zugang zu den einzelnen gesammelten
changes Sammlungen bietet. Noch viel besser und
timeperiod
calog major events from cluster strukturierter für eine Auswertung finde
ich jedoch den HTML-Output, der mit der
ps, tasklist find procs Option -html erzeugt werden kann. Diese
Option bietet eine bequeme Navigation
triage sum of oswatcher / exawatcher data
der gesammelten Daten im Browser (sie-
Tabelle 3: Komponenten im TFA he Abbildung 7).
52 www.aoug.at • www.doag.org • www.soug.ch
exachk über TFA
Ein bekanntes Tool für die Prüfung von
Komponenten der Exadata, Cells, Clus-
ter, GI und enthaltener Datenbanken ist
exachk. Es gilt als Best Practice Standard
Tool für die Healtcheck-Analyse der Exa-
data-Umgebung. Es bietet zum Beispiel
in der Vorbereitung von Patch-Aktionen
wertvolle Unterstützung bei der Bewer-
tung des Exadata-Gesamtsystems. exachk
kann im TFA folgendermaßen direkt auf-
gerufen werden: /opt/oracle.ahf/tfa/
bin/tfactl exachk
Es folgt eine interaktive Abfrage ver-
schiedener Parameter. Ergebnis ist ein Abbildung 6: Beispiel-Datensammlung (Quelle: Michael Schulze)
Abbildung 7: Die Browsernavigation im TFA (Quelle: Michael Schulze)
exachk- Report, der statische HTML-Sei-
ten ausgibt und Aufschluss über den Sys-
temzustand und den Zustand einzelner
Teilbereiche nach Gewichtung bietet (sie-
he Abbildung 8).
Housekeeping mit dem TFA
Das Purging von Logfiles und Trace Files
im ADR kann auch über den TFA getrig-
gert und gesteuert werden. Dies ist ma-
nuell möglich, aber auch das automa-
tische Entfernen von Logfiles lässt sich
konfigurieren. Im Folgenden soll ein Bei-
spiel eines manuellen Purgelaufs über Abbildung 8: Beispiel für den Output eines exchk-Reports (Quelle: Michael Schulze)
TFA erläutert werden:
Zunächst ermittelt das System den Sta-
tus quo und gibt aus, wie viele Log- und Tra- Ein Trockenlauf simuliert den Purgelauf spiel mit dem folgenden Befehl eine Vor-
ce-Informationen auf den Einzelsystemen und zeigt, wie viel Platz gespart werden haltezeit von 30 Tagen definiert werden:
vorhanden sind: /opt/oracle.ahf/tfa/ könnte, ohne dass der Löschlauf real ge- /opt/oracle.ahf/tfa/bin/tfactl
bin/tfactl managelogs -show usage startet werden muss. So könnte zum Bei- managelogs purge -older 30d -dryrun
Red Stack Magazin 03/2020 53
Engineered Systems
Abbildung 9: Beispiel für die Anzeige der möglichen Platzersparnis (Quelle: Michael Schulze)
Das reale Löschen der Trace Files und einigen bekannten Oracle-Werkzeugen
Logfiles, in unserem Beispiel wieder für wie RDA als Dokumentationsgrundlage,
Daten, die älter als 30 Tage sind, wird AHF und TFA für Analyse und Monito-
durch den folgenden Befehl initiiert, der im ring oder purgeLogs fürs Housekeeping
Ergebnis die Platzersparnis noch einmal wurden in diesem Teil auch interessan-
gegenüberstellt: /opt/oracle.ahf/tfa/ te Third-Party-Skripte wie rac_status.sh
bin/tfactl managelogs purge -older und einige weitere Ideen präsentiert. Im
30d (siehe Abbildung 9). Administratorenalltag kann diese Tool-
sammlung dabei helfen, die vielen Kom-
ponenten in komplexen Exadata-Umge-
Zusammenfassung und Fazit bungen zu beherrschen und gezielt zu
analysieren. Insbesondere die Idee einer
In dieser Artikelserie wurden Werkzeuge zentralen RDA-Dokumentation als struk-
vorgestellt, die in der Praxis des Exada- turierte Dokumentationsgrundlage stellt Michael Schulze
ta-Betriebs unterstützen können. Neben dies sicher. michael.schulze@opitz-consulting.com
Die DOAG Print und Digital:
Wir sind online für Sie da!
Um Sie auch weiterhin über aktuelle Informationen und
Neuigkeiten aus der IT auf dem Laufenden zu halten,
intensivieren wir unsere Aktivitäten im Print- und
Onlinebereich.
News, Videos & Webinare
Online veröffentlichen wir News und Videos. Ein Blick
in den Terminkalender lohnt sich weiterhin: Die DOAG
plant eine Reihe Webinare und erweitert ihr Online-
Angebot.
Magazine
Zögern Sie nicht, in unsere Zeitschriften Red Stack
(inklusive Business News) und Java aktuell zu stöbern –
auch online.
https://www.doag.org
54 www.aoug.at • www.doag.org • www.soug.ch
Sie können auch lesen
