Im Fokus Ruby und Sapphire: neue Modellierungsstrategie am MPI-M - Max-Planck-Institut für Meteorologie

Im Fokus
Ruby und Sapphire: neue Modellierungsstrategie am MPI-M
Die Entwicklung von Erdsystemmodellen am Max-Planck-Institut für Meteorologie (MPI-M) hat gezeigt, dass
Modelle mit Rechengittern im Kilometer-Maßstab realisierbar sind. Diese Modelle nutzen Rechengitter, die
fein genug sind, um die sich ändernde Dynamik atmosphärischer Störungen ¬– von einem Cumulus-Regen-
schauer bis zu einem Tropensturm – aufzulösen. Aus diesem Grund werden diese Modelle als sturmauf-
lösende oder konvektionsauflösende Erdsystemmodelle (Storm-Resolving Earth System Models – SR-ESMs)
bezeichnet. Mit diesen feinen Gittern können die SR-ESMs explizit auch andere wichtige Klimaprozesse, wie
z.B. mesoskalige Wirbel im Ozean, mesoskalige Landoberflächenheterogenität und den Einfluss der Topo-
graphie auf großräumige atmosphärische Zirkulationen sowie die Wassermassenbildung im Ozean darstel-
len. Damit unterscheiden sich die SR-ESMs strukturell und qualitativ von den höchstauflösenden konventio-
nellen Klimamodellen und ermöglichen das Erreichen neuer wissenschaftlicher Horizonte. Das MPI-M strebt
eine Führungsrolle bei der Entwicklung dieser neuen Art von Erdsystemmodellen an; dies führt zu einer
grundlegenden Umstrukturierung des Ansatzes bei der Modellentwicklung.

Die neue Modellentwicklungsstrategie konzentriert sich auf die Entwicklung der nächsten Generation von
Erdsystemmodellen, die SR-ESMs. Gleichzeitig sollen aber auch die Möglichkeiten traditioneller Erdsystem-
modelle besser genutzt werden, um die Klimavariabilität und die Auswirkungen langsamer Prozesse auf
das Klimasystem zu untersuchen. Das ICON-Modellsystem, das seinen Namen von der Verwendung von
sphärischen Gittern erhält, die aus dem Ikosaeder (ICO) und der nicht-hydrostatischen (N) Dynamik, die
für die Atmosphäre verwendet wird, abgeleitet sind, ist das primäre Modellsystem am MPI-M. Es umfasst
Komponenten für die Atmosphäre, den Ozean und das Land. ICON wird in Partnerschaft mit dem Deutschen
Wetterdienst (DWD), dem Deutschen Klimarechenzentrum (DKRZ) und dem Karlsruher Institut für Techno-
logie (KIT) entwickelt.

Um die Entwicklungsherausforderungen des SR-ESMs zu handhaben, hat das MPI-M seine Modellentwick-
lung in zwei Stränge gegliedert: Ruby und Sapphire. Sapphire konzentriert sich auf die Entwicklung und
Anwendung von Erdsystemmodellen der nächsten Generation (SR-ESM); Ruby stellt die Anwendung und
effiziente Nutzung ICON-basierter konventioneller Modelle am MPI-M in den Vordergrund. Sapphire wird
eng mit den technischen Bemühungen koordiniert, das ICON-Modell an die Anforderungen der leistungsfä-
higsten Computersysteme für wissenschaftliches Rechnen und die damit verbundenen neuen Arbeitsabläu-
fe anzupassen.

Abwechselnd alle zwei Wochen finden Treffen am MPI-M statt, um die Sapphire- und Ruby-Stränge zu or-
ganisieren und zu verwalten. Bei dem an Experimenten orientierten Ansatz von Sapphire konzentriert sich
das Projektmanagement auf die erfolgreiche Durchführung und Nutzung der Experimente. Der Schwerpunkt
liegt dabei auf der Definition von Experimenten, der Überwachung des Fortschritts, der Ermittlung der
Schritte, die zur Lösung von auftretenden Problemen erforderlich sind, sowie der Überarbeitung der Defi-
nition des Experiments und schließlich auf die Förderung der wissenschaftlichen Nutzung abgeschlossener
Experimente. Der Prozess macht die Zuweisung von technischen und rechnerischen Ressourcen transparent
und bietet ein Forum, in dem jede/r Wissenschaftler*in ein innovatives und neues Experiment vorschla-
gen kann. Um eine Fragmentierung zu vermeiden, wird jedes Experiment mit einer Retrospektive abge-
schlossen, in der die gewonnenen Erkenntnisse und mögliche technische Entwicklungen zusammengefasst
werden, die ein agileres Modellierungssystem unterstützen könnten. Als Reaktion auf diese Retrospektiven
können neue Experimente definiert werden, idealerweise in einer Weise, die auch auf wissenschaftliche Zie-
le ausgerichtet ist. Die durch Experimente angetriebene Modellentwicklung hilft Sapphire einen bestimmten
wissenschaftlichen Fokus beizubehalten und hat zu einer lebhaften Zusammenarbeit in der Modellentwick-
lung geführt. Ruby entlehnt ebenfalls Elemente der experimentell getriebenen Strategie von Sapphire, aber

Im Fokus – Max-Planck-Institut für Meteorologie

einige Aspekte, wie die Optimierung der Leistung eines Systems für allgemeine Zwecke, eignen sich nicht so
leicht für diese Strategie. Nichtsdestotrotz verfolgen auch im Fall von Ruby die offenen und regelmäßigen
Entwicklungstreffen den Fortschritt und helfen bei der effektiven und transparenten Verwaltung der perso-
nellen und rechnerischen Ressourcen.

Ruby
Ruby entwickelt Erdsystemmodelle zur Untersuchung der Klimavariabilität, der Vorhersagbarkeit des Klimas
und des Klimawandels. Ruby geht von gekoppelten ICON-Konfigurationen in der Klasse der konventionellen
Klimamodelle aus. Diese Konfigurationen basieren auf einem Code, der mit dem des hochauflösenden An-
satzes wie in Sapphire übereinstimmt. Ruby bündelt die MPI-M-weiten Aktivitäten, welche die Erdsystem-
modelle im Klimamodus anwenden. Die Palette der Modellanordnungen reicht von sehr niedriger Auflösung
für Ausbildungszwecke und Paläostudien über Jahrtausende bis hin zum High-End-Klimamodell mit wirbel-
auflösendem Ozean und einer Auflösung der Atmosphäre, die früher nur in regionalen Modellen angewandt
wurde, wodurch die Lücke zu den noch höher aufgelösten Sapphire-Anordnungen geschlossen wird.

Die Grundlage von Ruby ist die Konfiguration Ruby-0, ein voll funktionsfähiges gekoppeltes Modell, das die
hohen Anforderungen an Klimasimulationen über Jahrhunderte erfüllt, insbesondere hinsichtlich der Lang-
zeiterhaltungseigenschaften von Energie, Wasser und Kohlenstoff. Die mit dieser Konfiguration durchgeführ-
ten DECK-Experimente im Climate Model Intercomparison Project Phase 6 (CMIP6) zeigen, dass ein völlig
neues ICON-basiertes ESM für weitere experimentell getriebene Entwicklungen mit spezifischen wissen-
schaftlichen Fragestellungen bereitsteht. Ruby-1 und Ruby-2 sind zwei Beispiele für solche Entwicklungen.
Das letztendliche Ziel von Ruby ist es, die konventionellen gekoppelten Konfigurationen in ein SR-ESM zu
verwandeln, welches für Klimasimulationen geeignet ist.

Ruby-Konfigurationen
Ruby-0 bietet eine effiziente Konfiguration für die Modellentwicklung, für Simulationen des Klimas in Ver-
gangenheit, Gegenwart und Zukunft sowie für große Ensembles. Während bisher die Modellentwicklung
meist auf der Ebene einzelner Komponenten erfolgte (Crueger et al., 2018), konzentriert sich die Arbeit mit
der neuen Modellstrategie auf das gekoppelte System, dessen Abstimmung zusätzliche Herausforderungen
mit sich bringt (Mauritsen und Roeckner, 2020). Ruby-0 schneidet nach umfänglichen Abstimmungsarbeiten
im Allgemeinen im Vergleich zu Beobachtungen und zum älteren MPI-ESM gut ab (Jungclaus et al., 2020)
(Abb. 1). Weniger zufriedenstellende Eigenschaften sollen noch verbessert werden. So wird erwartet, dass
sich die Meereisverteilung auf der Nordhalbkugel mit dem neu entwickelten dynamischen Meereismo-
dell verbessern wird, bei dem die Dynamik auf dem nativen dreieckigen C-Gitter des ICON formuliert wird
(Mehlmann und Korn, 2020).

Ruby-1 zielt auf Simulationen für saisonale bis dekadische Vorhersagen ab. Basierend auf den Erfolgen der
Simulationen im Projekt MiKlip zur Verbesserung der Vorhersagen (Pohlmann et al., 2019) wird eine höher
auflösende Version von ICON-ESM entwickelt, die ein Gleichgewicht zwischen dem Bedarf an verbesserter
Auflösung und der notwendigen Rechengeschwindigkeit für die Erstellung einer großen Anzahl von rück-
wärts gerichteten Prognosen (Hindcasts) bzw. Vorhersagen herstellt. Erste Experimente zeigen vielverspre-
chende Ergebnisse, erfordern aber zusätzliche Feinabstimmung. Die vertikale Auflösung in der Ruby-1-At-
mosphäre wird auf 127 Levels erhöht, um eine korrekte Darstellung atmosphärischer Merkmale wie der
Quasi-Zweijährliche-Oszillation (QBO – Quasi Biennial Oscillation) zu gewährleisten. Die Initialisierung des
Vorhersagesystems mit Ozeanbeobachtungen wird zurzeit vom DWD durchgeführt.

27. Oktober 2020                                                                                   Seite 2 / 7

Im Fokus – Max-Planck-Institut für Meteorologie

Abb. 1: Standardisierte klimatologische Fehler von zwei ICON-ESM Ruby-0-Simulationen des vorindustriellen
Kontrollzustands (blau/hellblau) und zwei CMIP5-MPI-ESM1-Simulationen (rot/braun). Dargestellt sind die
Fehler gegenüber einer CMIP6-MPI-ESM1.2-Simulation des vorindustriellen Klimas. Ein Wert kleiner als 1
bedeutet einen kleineren Fehler als in MPI-ESM1.2. Die Fehler wurden über einen Satz von Standardvaria-
blen für die Regionen Global (GL), Nördliche Extra-Tropen (NE), Südliche Extra-Tropen (SE) und Tropen (TR)
gemittelt.

Ruby-2 zielt darauf ab, die Rolle der Atmosphäre-Ozean-Wechselwirkungsprozesse für das Klima und die
Modi der Klimavariabilität zu quantifizieren. Das Markenzeichen ist eine neue gekoppelte Konfiguration
mit einer dünnen Oberflächenschicht zwischen einem hochauflösenden ICON-A (Atmosphäre) und einem
hochauflösenden ICON-O (Ozean) unter Verwendung der neu entwickelten z*-Koordinate in ICON-O. Bis-
her ist die Klimavariabilität bereits mit hochauflösenden gekoppelten Modellen untersucht worden, aber
ohne die Simulation von Atmosphäre-Ozean-Prozessen durch Implementierung einer ausreichend dünnen
Meeresoberflächenschicht zur Lösung hochfrequenter Atmosphäre-Ozean-Wechselwirkungen, die z.B. die
Entstehung von Fronten beeinflussen. Mit einer solchen Konfiguration lässt sich der Oberflächenozean
leicht erwärmen, so dass zusammen mit der hohen Auflösung in ICON-A und ICON-O und der hohen Kopp-
lungsfrequenz Atmosphäre-Ozean-Prozesse in bisher unerreicht hoher Qualität simuliert werden können. Im
Gegensatz zu den Sapphire-Experimenten, die sich auf kurze Simulationen beschränken, wird die in Ruby-2
entwickelte Konfiguration für Simulationen über Jahrhunderte verwendet. In Ruby-2 wird untersucht, wie
sich Details der qualitativ hochwertigen Atmosphäre-Ozean-Prozesse auf langfristige Modi der Klimavariabi-
lität auswirken.

Ruby-SWITCH (Simplified Workflow for Icon TeaCHing) hat das ICON-System durch die Implementierung
des vollständigen und interaktiven Kohlenstoffkreislaufs zur vollen Erdsystemleistungsfähigkeit gebracht.
Dadurch und wegen der Flexibilität von ICON für beliebige kontinentale Konfigurationen wurde ein Setup
für ein Doktorandenprojekt entworfen, das die treibhausgasbetriebene Abschmelzung des Schneeball-Erde-
Zustands am Ende des Marinoans (vor etwa 635 Mio. Jahren) untersucht. Die Standardkonfiguration von
Ruby-Switch für das heutige Klima dient der Ausbildung in der Erdsystemmodell-Sommerschule (EaSyMS)
des MPI-M.

27. Oktober 2020                                                                                Seite 3 / 7

Im Fokus – Max-Planck-Institut für Meteorologie

Sapphire
Sapphire entwickelt eine ICON-Version, in der die wichtigsten Arten des Energietransports explizit aufgelöst
werden, nämlich der horizontale Energietransport vom Äquator zu den Polen, und der Transport von der
Oberfläche bis in die Atmosphäre oder in den Ozean hinein. Dies erfordert einen Rechengitterabstand von
einigen Kilometern, um hochreichende konvektive Wirbel in der Atmosphäre und mesoskalige Wirbel im
Ozean zu erfassen. Das Ziel ist, eine Modellierung im Hundertmeterbereich zu erreichen, um flache Kon-
vektion und submesoskalige Ozeanwirbel aufzulösen. Während konvektionsauflösende Modelle (SR-ESMs)
für regionale Klimasimulationen und Wettervorhersagen inzwischen gut etabliert sind, wird ihre globale

Tabelle: Liste der Experimente mit ihren wissenschaftlichen und technischen (kursiv geschriebenen) Ablei-
tungen. Mit Ausnahme von HOLOCENE und DYAMOND, die die Physik des Deutschen Wetterdienstes (DWD)
verwendeten, verwenden alle Experimente die neue Sapphire-Physik. Sie ist identisch mit der Ruby-Physik,
jedoch mit abgeschalteten Parametrisierungen von Schwerewellen, Orografie-Widerstand, Wolkendecke und
Konvektion und unter Verwendung eines anderen mikrophysikalischen Schemas.

27. Oktober 2020                                                                                  Seite 4 / 7

Im Fokus – Max-Planck-Institut für Meteorologie

Anwendung nur von einer Handvoll Modellierungsgruppen weltweit abgedeckt. Die dreizehn in der Tabelle
aufgelisteten durchgeführten Experimente, etablierten das MPI-M als führend auf diesem Gebiet. Globa-
le ICON-Läufe mit einem Gitterabstand von 2,5 km wurden erfolgreich für 40 Tage durchgeführt, mit der
höchsten Gitterauflösung der neun am DYAMOND-Vergleich teilnehmenden SR-ESMs (Stevens et al., 2019).
Zum ersten Mal wurde eine globale gekoppelte Simulation mit 5 km horizontaler Auflösung über mehrere
Monate Simulationszeit durchgeführt.

Durch die experimentgetriebene Strategie wurde die ICON-Version des MPI-M, die ursprünglich für die Ru-
by-Auflösung konzipiert war, sukzessive an die Bedürfnisse von Sapphire angepasst. Dazu gehörte die Imple-
mentierung neuer mikrophysikalischer Schemata, eines 3D-Turbulenzschemas – letzteres insbesondere für
Simulationen mit Large-Eddy-Auflösung –, eines Teleskopgitters, und einer neuen vertikalen Koordinate z*
im Ozean, welche dünne Schichten erlaubt. Auf der technischen Seite war eine bedeutende Errungenschaft
die Neufassung des ICON-Codes für die Grafikprozessor-Architektur (GPU). Um die experimentgetriebene
Strategie und die erzielten Ergebnisse besser zu veranschaulichen, werden die beiden Experimente, DYA-
MOND++ und SMT (Submesoscale Telescope) näher erläutert.

Das Ziel des Projekts DYAMOND++ war die Durchführung einer gekoppelten globalen konvektionsauflösen-
den Simulation über mehrere Monate, etwas, das noch nie zuvor gemacht worden war. Es baute auf dem
DYAMOND-Experiment auf, bei dem der I/O des ICON-Modells deutlich verbessert werden musste, um eine
globale Konvektionsauflösung zu ermöglichen. DYAMOND++ beinhaltete eine bedeutende Code-Entwick-
lung: die Implementierung eines neuen Mikrophysik-Schemas, eine neue vertikale Vermischung und ein
neues Kurzwellen-Absorptionsschema im Ozean, eine überarbeitete Behandlung des Wasserabflusses über
Flüsse und eine Verkürzung der Initialisierungsphase von 30 auf 5 Minuten. Der endgültige Durchsatz betrug
30 simulierte Tage pro Tag auf 420 Rechenknoten (von 1420 Knoten) auf dem Supercomputer „Mistral“ des
DKRZ. Der Anfangszustand des Ozeans, der viele Jahre benötigt, um sich einzuschwingen, wurde aus einem
bestehenden 6,5 Jahre langen, von ERA-5-Daten angetriebenen, ungekoppelten Ozeanlauf mit 10 km hori-
zontaler Auflösung gewonnen.

DYAMOND++ erreichte seine Ziele. Die erwarteten großräumigen Merkmale des Klimasystems, wie sie in
Abb. 2 für SST und Niederschlag dargestellt sind, werden reproduziert, und erste Analysen ergaben eine
realistischere Lokalisierung der ITCZ. In der Retrospektive des Experiments wurden verbleibende Probleme
festgestellt: numerische Instabilitäten, die sich am Oberrand des atmosphärischen Modellbereichs entwi-
ckelten und im Folgeexperiment DYAMOND-Winter gelöst wurden, und eine unrealistisch starke Erwärmung
des subtropischen Ozeans. Letzteres wird als wissenschaftliches Problem behandelt, da es das Verständnis
der Wechselwirkungen zwischen Strahlung, Konvektion, der Grenzschicht und der Oberfläche betrifft.

Das SMT-Experiment hatte zwei Ziele. Erstens sollte ein globales Ozean-Experiment mit lokaler Verfeinerung
bis zu einer Auflösung von mehreren hundert Metern durchgeführt werden, die für einheitliche Auflösungs-
konfigurationen auf absehbare Zeit außer Reichweite ist, und damit die Leistungsfähigkeit von ICON-O de-
monstriert. Zweitens sollte ein Beitrag zum Verständnis der submesoskaligen Dynamik und ihrer Rolle in der
globalen Zirkulation geleistet werden. Während ICON-O mehr oder weniger ‚out-of-the-box‘ mit minimaler
Anpassung funktionierte, erforderten der Output und die Datenspeicherung technische Verbesserungen.
Die endgültige Leistung betrug acht simulierte Tage pro Tag auf 336 Knoten auf „Mistral“ bei einem zwei-
stündlichen Output. SMT wird durch das SMT-Wave-Experiment abgelöst, das die Wechselwirkung zwischen
Wirbeln und Wellen untersucht. SMT-Wave profitiert von Modellverbesserungen wie der Implementierung
der neuen vertikalen z*-Koordinate, die eine höhere vertikale Auflösung an der Oberfläche ermöglicht, und
der Einbeziehung der Gezeiten in ICON.

27. Oktober 2020                                                                                Seite 5 / 7

Im Fokus – Max-Planck-Institut für Meteorologie

Abb. 2: Mittlerer Niederschlag (Schattierung) und SST (Kontur) aus DYAMOND++.

Veröffentlichungen
Crueger, T. et al. (2018) ICON-A: the atmospheric component of the ICON Earth System Model. Part
II: Model evaluation. In: Journal of Advances in Modeling Earth Systems 10, pp. 1638_1662. doi:
10.1029/2017MS001233.

Hohenegger, C., L. Kornblueh, D. Klocke, T. Becker, G. Cioni, J. F. Engels, U. Schulzweida and B. Stevens (2020)
Climate statistics in global simulations of the atmosphere, from 80 to 2.5 km grid spacing. J. Meteorol. So-
ciety Japan, 98, 73-91, doi:10.2151/jmsj.2020-005.

Jungclaus, J. et al. (2020) ICON-ESM: structure and performance of a climate model based on unstructured
grids. Manuscript in preparation.

Mauritsen, T. and E. Roeckner (2020) Tuning the MPI-ESM1.2 global climate model to improve the match
with instrumental record warming by lowering its climate sensitivity. In: Journal of Advances in Modeling
Earth Systems 12, e2019MS002037. doi: 10.1029/2019MS002037.

Mehlmann, C. and P. Korn (2020) Sea-ice dynamics on triangular grids. In: Journal of Computational Physics.
In review.

27. Oktober 2020                                                                                     Seite 6 / 7

Im Fokus – Max-Planck-Institut für Meteorologie

Pohlmann, H., W. A. Müller, M. Bittner, S. Hettrich, K. Modali, K. Pankatz and J. Marotzke (2019) Realistic
quasi-biennial oscillation variability in historical and decadal hindcast simulations using CMIP6 forcing. Geo-
phys. Res. Lett., 46, 4118-14125. doi:10.1029/2019GL084878.

Stevens et al. (2020) The added value of large-eddy and storm-resolving models for simulating clouds and
precipitation. Journal of the Meteorological Society of Japan, 98, 395-435. doi:10.2151/jmsj.2020-021.

Stevens, B., M. Satoh, L. Auger, et al. (2019) Dyamond: the dynamics of the atmospheric general circulation
modeled on non-hydrostatic domains. Prog. in Earth and Planet. Sci., 6, 61. doi:10.1186/s40645-019-0304-z.

Weitere Informationen
Fokus-Text zu DYAMOND: https://mpimet.mpg.de/kommunikation/im-fokus/dyamond-klimamodelle-der-na-
echsten-generation

Projekt MiKlip: https://mpimet.mpg.de/en/science/projects/miklip-projekt

Kontakt
Prof. Dr. Bjorn Stevens
Max-Planck-Institut für Meteorologie
Tel.: 040 41173 422 (Assistentin Angela Gruber)
E-Mail: bjorn.stevens@mpimet.mpg.de

Dr. Johann Jungclaus
Max-Planck-Institut für Meteorologie
Tel.: 040 41173 109
E-Mail: johann.jungclaus@mpimet.mpg.de

Dr. Christian Reick
Max-Planck-Institut für Meteorologie
Tel.: 040 41173 117
E-Mail: christian.reick@mpimet.mpg.de

Dr. Cathy Hohenegger
Max-Planck-Institut für Meteorologie
Tel.: 040 41173 302
E-Mail: cathy.hohenegger@mpimet.mpg.de

Dr. Peter Korn
Max-Planck-Institut für Meteorologie
Tel.: 040 41173 470
E-Mail: peter.korn@mpimet.mpg.de

27. Oktober 2020                                                                                     Seite 7 / 7