Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM) - ResearchGate
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Originalarbeit
Österr Wasser- und Abfallw
https://doi.org/10.1007/s00506-021-00767-z
Niederschlags-Abfluss-Modellierung mit Long Short-Term
Memory (LSTM)
Frederik Kratzert · Martin Gauch · Grey Nearing · Sepp Hochreiter · Daniel Klotz
Angenommen: 13. April 2021
© Der/die Autor(en) 2021
Zusammenfassung Methoden der Schlüsselwörter Deep Learning · men mittels vielschichtiger künstlicher
künstlichen Intelligenz haben sich in Niederschlags-Abfluss-Modellierung · neuronaler Netze ermöglicht. Dieser
den letzten Jahren zu essenziellen LSTM Beitrag veranschaulicht das Potenzial
Bestandteilen fast aller Bereiche von von DL für die wasserwirtschaftliche
Wissenschaft und Technik entwickelt. Rainfall-Runoff modeling with Anwendung. Der Fokus liegt dabei auf
Dies gilt auch für die Hydrologie: Viel- Long Short-Term Memory konkreten Problemstellungen aus der
schichtige neuronale Netzwerke – auch Networks (LSTM)—an overview Niederschlags-Abfluss-Modellierung,
bekannt als Modelle des Deep Learn- aus drei Themengebieten: 1. Regio-
ing – ermöglichen hier Vorhersagen von Abstract In recent years, methods of ar- nale Modellierung, 2. Vorhersage in
Niederschlagsabflussmengen in zuvor tificial intelligence have become essen- unbeobachteten Einzugsgebieten und
unerreichter Präzision. tial components of almost all branches 3. Modelleigenschaften.
Dieser Beitrag beleuchtet das Poten- of science and technology. This also
zial von Deep Learning für wasserwirt- holds for the area of hydrology: multi- 1.1 Regionale Modellierung
schaftliche Anwendungen. Der erste layered neural networks—also known
Teil des Artikels zeigt, wie sogenannte as Deep Learning models—allow for Die regionale Skala ist typisch für die
Long Short-Term Memory-Netzwerke rainfall-runoff predictions at unprece- hydrologische Modellbildung. Sie ist
– eine spezifisch für Zeitreihen entwi- dented accuracy. größer als ein einzelner Hang oder
ckelte Methode des Deep Learnings – This contribution highlights the Flussabschnitt, jedoch kleiner als ein
für die Niederschlags-Abfluss-Model- potenzial of Deep Learning for ap- Kontinent (e.g. Blöschl und Sivapa-
lierung verwendet werden, und wie plications of water management. The lan 1995). Die Herausforderung für
diese für eine Reihe hydrologischer first part of this article shows how so- Modellierer besteht darin, aus dem
Probleme bessere Ergebnisse als jedes called Long Short-Term Memory net- vorhandenen Prozessverständnis und
andere bekannte hydrologische Modell works—a Deep Learning architecture den verfügbaren Daten (etwa Pegel-,
erzielen. Der zweite Teil demonstriert explicitly designed for time series pre- Grundwasser- und/oder Schneehöhen-
wesentliche Eigenschaften der Long diction—can be used for rainfall-runoff Messungen) ein Modell zu erarbeiten.
Short-Term Memory-Netzwerke. Zum modeling, and how this approach yields Dabei kommt es zu einem Kompromiss
einen zeigen wir, dass diese Netzwerke better results than any known hydro- zwischen hydrologisch konsistenten
beliebige Daten verarbeiten können. logic model on a number of hydrologic Parametern und Performance (Klotz
Dies erlaubt es, mögliche synergetische problems. The second part of this ar- et al. 2017; Feigl et al. 2020; Mizuka-
Effekte aus unterschiedlichen meteoro- ticle outlines important properties of mi et al. 2017). Den Schwerpunkt auf
logischen Datensätzen zu extrahieren Long Short-Term Memory networks. nur eines der beiden Kriterien zu le-
und damit die Modellgüte zu verbes- We show that these models can process gen, ist kaum machbar. Obwohl die
sern. Zum anderen stellen wir dar, wie any available data. This allows them to Parameter hydrologischer Modelle oft
relevante hydrologische Prozesse (wie draw synergetic information from mul- eine physikalische Bedeutung haben
z. B. das Akkumulieren und Schmel- tiple meteorological datasets, which im- (z. B. Infiltrationskoeffizient), ist es in
zen von Schnee) innerhalb der Modelle proves predictions. Further, we demon- der Praxis nicht möglich, die Modell-
abgebildet werden, ohne dass diese strate how these models learn relevant parameter aus der Theorie abzuleiten.
spezifisch darauf trainiert wurden. hydrologic processes (e.g., accumu- Ein wesentlicher Grund dafür ist, dass
lation and melting of snow) without unsere Prozessbeschreibung auf einer
specifically being trained to do so. anderen Skala konzeptualisiert wurde
(z. B. im Labor), als sie für die hydrolo-
Keywords Deep Learning · Rainfall- gische Modellierung benötigt wird. Die
F. Kratzert () · M. Gauch ·
Runoff modeling · LSTM Ansätze lassen sich nicht ohne weite-
S. Hochreiter · D. Klotz
res auf Einzugsgebiets-Skala übertragen
Institute for Machine Learning,
1 Einleitung (Klemeš 1983). Das rein empirische Be-
Johannes Kepler Universität Linz,
Altenberger Straße 69, 4040 Linz,
stimmen der Parameter gestaltet sich
Österreich Deep Learning (DL) ist das Herzstück ähnlich problematisch. Konventionel-
kratzert@ml.jku.at der modernen Künstlichen Intelligenz le Modelle (etwa physikalisch basierte
(e.g. Hinton et al. 2012; Sutskever et al. oder konzeptionelle Ansätze) wurden
G. Nearing 2014; Krizhevsky et al. 2017). Bei DL entwickelt, um hydrologische Prozesse
Google Research, Mountain View, CA, handelt es sich um eine Reihe von abzubilden und sind nicht unbedingt
USA Methoden, die das Lösen von Proble- dafür vorgesehen, eine möglichst ein-
Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)
Originalarbeit
met, trotzdem gilt sie bis heute als
weitgehend ungelöst (Hrachowitz et al.
2013).
DL-Modelle sind auch hier sinnvoll
nutzbar, da sie kein explizites Wissen
über die räumlichen Zusammenhän-
ge voraussetzen. Stattdessen werden
räumlich übertragbare Repräsentatio-
nen gelernt. Kap. 3 demonstriert die-
se Vorteile. Unter anderem zeigt sich,
dass DL-Ansätze bessere Modellgüte
in „unbeobachteten“ Einzugsgebieten
aufweisen als einzugsgebietsspezifisch
kalibrierte, klassische Niederschlags-
Abfluss-Modelle.
1.3 Modelleigenschaften
Die von uns vorgestellten DL-Ansätze
besitzen zusätzlich inhärente Eigen-
Abb. 1 Beispiel für die Verschlechterung der Modellgüte durch regionales Modellie- schaften, welche für die hydrologische
ren. Zu sehen sind die empirischen kumulativen Verteilungsfunktionen der Nash-Sut- Modellierung von Interesse sind. Wir
cliffe Effizienz (NSE) von zwei hydrologischen Modellen. VIC (Liang et al. 1994) in Blau demonstrieren zwei Formen dieser Mo-
und mHM (Samaniego et al. 2010; Mizukami et al. 2017) in Rot. Die unterbrochenen Li- delleigenschaften: Die erste Eigenschaft
nien zeigen die Performance einzugsgebietsspezifisch kalibrierter Modelle, die durch- bezieht sich auf das Einbeziehen von
gehenden Linien jene regional kalibrierter Modelle. Je weiter rechts die Dichtekurve, unterschiedlichen Eingabedaten. Wir
desto besser zeigen, wie DL-Modelle Eingabedaten
verschiedener meteorologischer Pro-
fache Parametrisierung zu ermöglichen zert et al. 2019c; Gauch et al. 2021; siehe dukte (DayMet, Maurer und NLDAS)
(Klemeš 1997; Kirchner 2006). Für die auch Halevy et al. 2009). verwenden und von den daraus resul-
regionale Modellierung ist es außerdem tierenden Synergieeffekten profitieren
schwierig, eine allgemeingültige Abbil- 1.2 Vorhersage in unbeobachteten können (siehe z. B. Kratzert et al. 2020).
dung von Einzugsgebietseigenschaften Einzugsgebieten Als zweite Eigenschaft diskutieren wir
zu Modellparametern zu finden, die die Speicher der vorgestellten Modell-
zu ähnlich guten Vorhersagen führt Zum Modellieren eines Einzugsgebiets klasse. Konkret demonstrieren wir, wie
wie einzugsgebietsspezifisch kalibrierte werden in der Regel meteorologische Informationen aus den „black box“-
Modelle (Hrachowitz et al., 2013; Mizu- Inputs (etwa Niederschlag und Tem- Modellen gewonnen werden können,
kami et al. 2017; Blöschl et al., 2019). peratur) und Daten bezüglich der vor- indem deren interne Repräsentationen
DL ermöglicht einen fundamental handenen Einzugsgebietseigenschaften bezüglich Prozesseigenschaften analy-
anderen Ansatz der Modellbildung, der und Abflussmengen benötigt. Vor allem siert werden (Kratzert et al., 2019a).
nicht auf vordefinierten Regeln basiert, Abflussmessungen sind jedoch nicht Im Folgenden geben wir zunächst
sondern das gesamte Prozessverständ- für alle Einzugsgebiete vorhanden. einen Überblick über das von uns ver-
nis aus den verfügbaren Daten lernen Die Vorhersage in unbeobachteten wendete DL-Modell sowie von uns ge-
muss. Der von uns entwickelte An- Einzugsgebieten gilt als allgemein sehr nutzte Datensätze (Kap. 2). Anschlie-
satz führt zu Modellen, deren Qualität schwierig (Sivapalan 2003; Parajka et al. ßend gehen wir im Detail auf die drei
tendenziell mit der Zahl der abgedeck- 2013). Hydrologische Prozesse sind so- Kernthemen dieser Publikation ein:
ten Einzugsgebiete steigt (siehe Krat- wohl räumlich als auch zeitlich hetero- Regionale Modellierung (Abschn. 3.1),
zert et al. 2018b, 2019c; Gauch et al. gen und auf verschiedenen relevanten Vorhersage in unbeobachteten Einzugs-
2021). Konventionelle hydrologische Skalen nicht vollständig verstanden. gebieten (Abschn. 3.2) sowie Modellei-
Modellansätze erreichen deutlich bes- Im Allgemeinen fehlen hoch aufgelöste genschaften (Abschn. 3.3). Dem folgt
sere Modellgüte, wenn sie für jedes Ein- Informationen über den Aufbau des eine Übersicht an Erweiterungen von
zugsgebiet spezifisch kalibriert werden Untergrunds, welche eine genaue phy- DL-basierten Niederschlags-Abfluss-
statt für viele (diverse) Einzugsgebiete sikalische Modellierung ermöglichen Modellen (Kap. 4.). Abschließend fas-
auf einmal (siehe Abb. 1). Der Nutzen würden. In der Tat gestaltet sich das sen wir die Ergebnisse noch einmal zu-
von strukturell explizit dargestellten Sy- Problem derart kompliziert, dass es oft sammen und geben einen Ausblick auf
stemprozessen ist hier limitierend. DL- als eines der zentralen Probleme der hy- zukünftige Forschungsthemen (Kap. 5)
Modelle haben den Vorteil, dass sie alle drologischen Modellierung angesehen die auch im Rahmen hydrologischer
Prozesse modellieren können, die aus wird (Blöschl et al., 2013; Blöschl et al. und wasserwirtschaftlicher Fragestel-
den verfügbaren Daten ableitbar sind: 2019). Die International Association of lungen sinnvolle Unterstützung bieten
Je größer und diverser die verfügbare Hydrological Sciences (IAHS) hat der werden.
Datenmenge ist, desto allgemeiner ist Lösung dieser Fragestellung (Vorhersa-
das gelernte Prozessverständnis (Krat- ge in unbeobachteten Einzugsgebieten)
eine ganze Dekade (2003–2012) gewid-
Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)
Originalarbeit
gebieten aus den USA. Die Einzugs-
gebiete sind quer über die USA verteilt
und decken ein breites Spektrum an un-
terschiedlichen hydrologischen Eigen-
schaften ab (Abb. 3). Neben ca. 35 Jah-
ren Abflussdaten in täglicher Auflösung
beinhaltet CAMELS meteorologische
Daten von drei verschiedenen meteoro-
logischen Produkten sowie eine Reihe
statischer Kenngrößen. Die drei Pro-
dukte beinhalten jeweils Niederschlag,
tägliche Höchst- und Niedertempera-
Abb. 2 Setup-Schema für die Verwendung des LSTM. Dem LSTM (blau) wird an jedem
tur, Sonneneinstrahlung und Wasser-
ZeitschritteinEingabevektor (lila)bereitgestellt. EsbesitztinterneSpeicher, dievonZeit-
dampfdruck. Die statischen Kenngrö-
schritt zu Zeitschritt aktualisiert werden können. Aus der LSTM-Ausgabe des letzten
ßen lassen sich grob in die Bereiche
Zeitschritts (gelb) wird die Vorhersage ermittelt
Boden, Vegetation, Hydrologie, Klima
und Topologie gliedern (eine Übersicht
2 Methoden die Modelle an individuelle Einzugs- ist in Newman et al. 2015 und Addor
gebiete anpassen lassen. Wie eingangs et al. 2017 zu finden).
2.1 Long Short-Term Memory-Netzwerk beschrieben, besitzen auch LSTMs in-
terne Speicher und auch hier wird die 3 Experimente und Ergebnisse
Die Grundlage unserer DL-Modelle Vorhersage aus den Speichern erzeugt.
bildet das Long Short-Term Memo- Der wesentliche Unterschied ist jedoch, 3.1 Regionale Modellierung
ry-Netzwerk (LSTM; Hochreiter 1991; dass beim LSTM nicht von vornherein
Hochreiter und Schmidhuber 1997; definiert ist, wie die Eingabedaten mit 3.1.1 Vergleich des
Gers, Schmidhuber & Cummins 2000). der Zielvariable zusammenhängen und einzugsgebietsspezifischen und
Das LSTM gehört zur Familie der re- welche Informationen dafür über die regionalen LSTM
kurrenten neuronalen Netze. Dies sind Zeit gespeichert oder akkumuliert wer-
neuronale Netze, die Eingabedaten in den müssen. Diese Zusammenhänge In diesem Experiment vergleichen wir
sequenzieller Reihenfolge verarbeiten werden während der sogenannten Trai- einzugsgebietsspezifische LSTMs mit
(siehe Abb. 2). Eine spezielle Eigen- ningsphase vom LSTM gelernt. Das einem regionalen LSTM. Ersteres be-
schaft von LSTMs ist, dass sie dedi- LSTM muss also nicht passende Pa- deutet, dass für jedes Einzugsgebiet
zierte interne Speicher besitzen, um rameterschätzungen einer gegebenen ein separates LSTM trainiert und ver-
Informationen für lange Zeit speichern Modellstruktur finden, sondern ein ge- wendet wird. Letzteres bedeutet, dass
zu können. Zusätzlich verfügen LSTMs samtes Modell. Dies ist eine Stärke: ein einziges Modell so aufgesetzt wird,
über eine Reihe von sogenannten Gates. Klassische hydrologische Modelle kön- dass es für alle Einzugsgebiete ver-
Diese kontrollieren in jedem Zeitschritt nen nur jene Systemprozesse berück- wendbar ist (siehe Diskussion über
(a) welche Informationen aus dem Spei- sichtigen, welche explizit in das Modell regionale Modellbildung in der Einlei-
cher gelöscht werden, (b) was für neue eingebaut wurden – LSTMs hingegen tung). Die einzugsgebietsspezifischen
Informationen aus den Eingabedaten können alle Prozesse modellieren, die LSTMs erhalten ausschließlich meteo-
in den internen Speicher hinzugefügt aus den verfügbaren Daten ableitbar rologische Eingabedaten, wohingegen
werden, und (c) aus welchen Informa- sind. das regionale LSTM zusätzlich statische
tionen des aktuellen Speichers die Vor- In unseren Experimenten verwen- Kenngrößen der Einzugsgebiete als In-
hersage gewonnen werden kann. Au- den wir das LSTM in folgender Kon- puts bekommt (siehe Abschn. 2.2). Dies
ßerdem, und dies macht LSTMs speziell figuration: Wir übergeben dem LSTM ermöglicht es dem regionalen LSTM,
interessant für den wasserwirtschaftli- eine Sequenz von ca. einem Jahr an die meteorologischen Inputs je nach
chen Einsatz, besitzen sie Parallelen zu meteorologischen Eingabedaten, um Einzugsgebiet unterschiedlich zu verar-
klassischen hydrologischen Modellen. eine Abflussvorhersage am letzten Zeit- beiten (siehe Kratzert et al. 2019c).
Wir skizzieren diese im Folgenden. Für schritt zu erzeugen. Zusätzlich zu den Abb. 4 zeigt die empirischen kumu-
eine detaillierte, technische Beschrei- meteorologischen Daten werden in den lativen Verteilungsfunktionen der NSE-
bung verweisen wir auf Kratzert et al. meisten Experimenten auch statische Werte aus den CAMELS-Einzugsgebie-
(2018b). Kenngrößen des Einzugsgebietes (wie ten. Der regionale Ansatz (Median NSE
Die meisten in der Hydrologie ver- etwa Ton- oder Sandgehalt des Bodens) 0,76) ist deutlich besser als die einzugs-
wendeten Modelle bestehen aus einer als zusätzliche Inputs an jedem Zeit- gebietsspezifischen LSTMs (Median
Abfolge von Speichern (z. B. für Schnee schritt übergeben (siehe Abschn. 2.2). NSE 0,67). Das Verhalten der LSTMs ist
oder Bodenfeuchte) und fest eingebau- also genau gegensätzlich zu klassischen
ten Regeln. Diese Regeln definieren, 2.2 Daten hydrologischen Modellen, bei denen
wie Eingabedaten die Speicher verän- einzugsgebietsspezifische Ansätze in
dern und wie aus den Speichern die In allen Experimenten verwenden wir der Regel deutlich besser sind (sie-
Abflussvorhersage gewonnen werden Daten aus dem CAMELS-Datensatz he auch Abb. 1). Bei der Verwendung
kann (e.g. Liang et al. 1994; Seibert (Newman et al. 2015; Addor et al. 2017), von LSTMs als hydrologische Model-
und Vis 2012). Es bleibt eine Reihe einem offenen hydrologischen Daten- le ist es immer sinnvoll, verschiedene
an Modellparametern, mit denen sich satz mit 671 unbeeinflussten Einzugs- Einzugsgebiete in die Modellbildung
Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)
Originalarbeit
Abb. 3 Übersichtskarte der CAMELS-Einzugsgebiete, farblich kodiert nach Trockenheit (definiert als das Verhältnis der mittleren
jährlichen potenziellen Verdunstung zu mittleren jährlichen Niederschlagsmenge, siehe Addor et al. (2017))
Resümee: Das LSTM ist in der Lage,
gelerntes Prozessverständnis zwischen
den Einzugsgebieten zu transferieren.
Es lernt etwas aus den Daten eines
gegebenen Einzugsgebiets, dass es in
positiver Hinsicht in einem anderen
Einzugsgebiet anwenden kann. Für ei-
ne ausführliche Diskussion verweisen
wir auf Nearing et al. (2020).
3.1.2 Vergleich des regionalen LSTM
mit hydrologischen Modellen
Vergleichen wir nun das regionale
LSTM mit zwei unterschiedlichen, re-
gional kalibrierten (mittels MPR; Sa-
maniego et al. 2010) hydrologischen
Modellen, ergibt sich folgendes Bild
(Abb. 5): Das regionale LSTM (Median
Abb. 4 Vergleich der empirischen kumulativen Verteilungen der Nash-Sutcliffe-Effizi- NSE 0,76) ist beiden hydrologischen
enz (NSE)-Werte zweier LSTMs über die verschiedenen Einzugsgebiete. Die bestmög- Modellen (Median NSE VIC: 0,31, Me-
liche Verteilung entspricht einer vertikalen Linie bei NSE 1,0. In Analogie zu Abb. 1 sind dian NSE mHM: 0,53) sehr deutlich
die einzugsgebietsspezifischen LSTMs mittels einer unterbrochenen Linie und das re- überlegen.
gionale LSTM mittels einer durchgängigen Linie dargestellt. In Gegensatz zu Abb. 1 ist Aber nicht nur im Vergleich zu regio-
das regionale LSTM besser als die einzugsgebietsspezifisch angepassten LSTMs nal kalibrierten hydrologischen Model-
len schneidet das LSTM gut ab. Beim
Vergleich des regionalen LSTM mit
einfließen zu lassen. Dies gilt selbst (diverse) Einzugsgebiete für das Trai- einzugsgebietsspezifischen hydrologi-
dann, wenn das eigentliche Ziel der ning verwendet werden, desto mehr schen Modellen ergibt sich ein ähn-
Modellierung sich auf einen spezifi- Prozessverständnis kann vom LSTM liches Bild (siehe Abb. 6): auch hier
schen Flussabschnitt beschränkt. Eine aus den Daten gelernt werden. Mehr ist das LSTM deutlich besser. Dabei
Erklärung hierfür ist, dass die abfluss- Einzugsgebiete führen daher tendenzi- muss betont werden, dass alle hydro-
bildenden Prozesse überall prinzipiell ell zu einer besser verallgemeinernden logischen Modelle von anderen For-
dieselben sind – wenn auch lokal stark Repräsentation der Niederschlags-Ab- schergruppen mit Expertise in der An-
unterschiedlich ausgeprägt. Je mehr fluss-Modellierung. wendung des entsprechenden Modells
Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)
Originalarbeit
LSTM besser als die zum Vergleich ver-
wendeten klassischen Modelle.
In diesem Vergleich stellen wir die
Performance eines LSTM für unbeob-
achtete Einzugsgebiete (PUB; orange
mit Stern) der Performance von drei
anderen Modellen gegenüber: ein phy-
sikalisches Modell (US NWM, Cosgrove
und Klemmer (NOAA) 2019), ein ein-
zugsgebietsspezifisch kalibriertes kon-
zeptionelles Modell (SAC-SMA) und
das zuvor eingeführte regionale LSTM
(Abschn. 2.1). Wir haben die ersten bei-
den Modelle gewählt, da sie das alte
(SAC-SMA) sowie aktuell verwendete
US National Water Model und somit
wichtige Modelle sind, die weit verbrei-
tete Anwendung finden.
Resümee: Das LSTM liefert durch-
schnittlich bessere Simulationsergeb-
Abb. 5 Vergleich der empirischen kumulativen Verteilungen der Nash-Sutcliffe-Effizi- nisse für Einzugsgebiete, für die es nicht
enz (NSE)-Werte für das regionale VIC-Modell (dunkelblau), das regionale mHM-Modell trainiert wurde, als etablierte hydrolo-
(rot), und das regionale LSTM (orange). Je weiter rechts die Gesamtverteilung, desto gische Modelle, die für jedes Einzugs-
besser die Modellgüte. In diesem Vergleich ist das regionale LSTM der mit Abstand bes- gebiet separat kalibriert wurden. Das
te Ansatz LSTM lernt eine besser generalisieren-
de Repräsentation der abflussbildenden
kalibriert wurden, um jeglichen Bias aufgeteilt. Anschließend wurde jeweils Prozesse als die von einzugsgebietsspe-
bei der Kalibrierung zu vermeiden. Alle ein regionales LSTM anhand der Ein- zifisch kalibrierten Modellen erreichte.
Modelle wurden mit denselben meteo- zugsgebiete aus neun Gruppen trainiert Eine vertiefende Diskussion bezüglich
rologischen Daten auf den denselben und anhand der Einzugsgebiete in der der vorgestellten Experimente und Er-
Zeiträumen kalibriert und ausgewertet. verbleibenden zehnten Gruppe ausge- gebnisse kann in Kratzert et al. (2019b)
Für weitere Details zu den hydrologi- wertet. Dabei ist jedes Einzugsgebiet gefunden werden.
schen Modellen sowie für Vergleiche genau einmal in der Gruppe, die nicht
mit weiteren Metriken verweisen wir für das Modelltraining verwendet wird. 3.3 Modelleigenschaften
auf Kratzert et al. (2019c). Der Versuchsaufbau misst also, wie gut
Resümee: Bezogen auf die Modellgü- ein Modell in Einzugsgebieten ist, für 3.3.1 Synergieeffekte mehrerer
te (hier exemplarisch in Form des NSE- die keine Daten für die Kalibrierung meteorologischen Daten in einem
Kriteriums dargestellt) übertrifft das zur Verfügung stehen. Damit wird eine LSTM
regionale LSTM eine Reihe von klassi- Vorhersage in unbeobachteten Ein-
schen hydrologischen Modellen. Dies zugsgebieten (Prediction in Ungauged Ein weiterer Vorteil von DL-Modellen ist
gilt sowohl für Modelle, die regional Basins, PUB) simuliert, was als eine es, dass sie keine A-priori-Annahmen
kalibriert wurden, als auch für solche, der wichtigsten Problemstellungen in zu den Eingabedaten benötigen. Im Ge-
die einzugsgebietsspezifisch optimiert der Hydrologie gilt (siehe Einleitung). gensatz zu klassischen hydrologischen
wurden. Ein regionales LSTM ist also Eine quantitative Auswertung von de Modellen ist es also nicht notwendig,
ein einziges LSTM, das für Vorhersagen facto unbeobachteten Einzugsgebieten eine genaue mathematische Beziehung
an allen Pegeln in einer Region verwen- ist natürlich nicht möglich. Unser An- zwischen jeder Eingangsvariable und
det werden kann. Für weitere Details satz bietet jedoch eine naheliegende der Zielvariable (z. B. Abfluss) zu defi-
zu den hydrologischen Modellen so- Annäherung. nieren, sondern genau diese Beziehun-
wie Vergleiche mit weiteren Metriken Die Ergebnisse sind in Abb. 7 zu gen werden während der Trainingspha-
verweisen wir auf Kratzert et al. (2019c). sehen: Dort wird das PUB-Modell se vom Modell gelernt. Dies können
mit zwei hydrologischen Modellen so- wir uns auf mehrere Arten zunutze ma-
3.2 Generalisierung des LSTM für wie dem regionalen LSTM verglichen. chen, wobei eine spezielle Anwendung
unbeobachtete Einzugsgebiete Letzteres wurde wie in den vorheri- die meteorologischen Inputs betrifft.
gen Kapiteln mit allen Daten trainiert. Konzentrieren wir uns auf die wich-
Trotz dieser eindeutigen Ergebnisse Die hydrologischen Modelle sind das tigste Eingangsvariable, den Nieder-
stellt sich die Frage, wie gut das gelernte SAC-SMA-Modell (Burnash et al., 1973, schlag, so ist weithin bekannt, dass
„Wissen“ eines datenbasierten Modells 1995), separat kalibriert für jedes Ein- hierin eine der größten Quellen von
wirklich ist, oder ob das Modell nur gut zugsgebiet und das aktuelle US Natio- Unsicherheit steckt (Fekete et al. 2004;
ist im „Auswendiglernen“. In Kratzert nal Water Model (WRF-Hydro; Salas Beven 2019). Niederschlagsdaten gibt es
et al. (2019b) haben wir diese Annahme et al. 2018). Trotz Einbußen gegen- sowohl als Punktmessung (z. B. von Nie-
untersucht. Dafür wurden die Einzugs- über dem regionalen LSTM ist das in derschlagsmessstellen) als auch Raster-
gebiete mittels zufälliger Kreuzvalidie- diesem Experiment aufgesetzte PUB- daten (Maurer et al. 2002; Thornton
rung in 10 unterschiedliche Gruppen et al. 2012; Xia et al. 2012; Hersbach
Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)
Originalarbeit
kombiniert, z. B. über das arithmeti-
sche Mittel (siehe SAC-SMA-Ensemble,
Abb. 9). Der Nachteil eines solchen
Ensembles ist, dass es – zusätzlich zu
den bereits genannten Annahmen zur
Modellstruktur – voraussetzt, dass die
Datenprodukte voneinander unabhän-
gig sind. Jedes Modell wird mit imper-
fekten Daten betrieben und potenzielle
synergetische Effekte, die aus der pro-
duktübergreifenden Verbindung zur
Verfügung stehender Informationen für
die Modellierung der hydrologischen
Prozesse gewonnen werden könnten,
werden nicht genutzt.
Resümee: Das LSTM hat die Fähig-
keit, diverse Inputs zu berücksichtigen
und etwaige Synergien in den Daten
(z. B. bei Verwendung unterschiedlicher
meteorologischer Datensätze in einem
Abb. 6 Modellgütevergleich zwischen verschiedenen einzugsgebietsspezifischen Modell) für eine verbesserte Modellie-
klassischen Niederschlags-Abfluss-Modellen und dem regionalen LSTM (orange). Dar- rung zu nutzen.
gestellt werden die empirischen kumulativen Verteilungsfunktionen der Nash-Sutcliffe-
Effizienz (NSE) über die verschiedenen Einzugsgebiete. Je weiter nach rechts verscho- 3.3.2 Analyse und Interpretation von
ben die Gesamtverteilung, desto besser ist das Model. In diesem Vergleich ist das regio- LSTM-Speichern
nale LSTM der beste Ansatz
Unter Hydrologen genießen neuronale
et al. 2020). Erstere sind, wie der Name sche Produkt separat kalibriert, weiters Netze nicht den besten Ruf. Einer der
impliziert, nur am Ort der Messstelle für jede Kombination aus zwei meteo- Hauptgründe dafür ist, dass Modelle
gültig, wohingegen letztere wiederum rologischen Produkten sowie ein regio- nicht nur Vorhersagen für den Abfluss
selbst das Produkt eines Modells sind, nales LSTM, das die meteorologischen liefern sollen, sondern auch ein hy-
das mit eigenen Annahmen und Feh- Variablen aus allen drei Datensätzen drologisches Prozessverständnis darü-
lern behaftet ist. Des Weiteren existiert auf einmal als Eingabedaten bekommt. ber hinaus ermöglichen sollen (Klemeš
eine Vielzahl unterschiedlicher meteo- Die Ergebnisse aus Kratzert et al. 1986). Sprich: Ein Modell soll nicht nur
rologischer Produkte – die teils mit (2020) zeigen, dass jede Kombination gute Simulationsergebnisse für den Ab-
unterschiedlichen Modellen erzeugt aus zwei meteorologischen Datenpro- fluss generieren, sondern es soll dies
wurden – in unterschiedlicher räum- dukten besser ist als das beste Mo- tun, weil es die entsprechenden Prozes-
licher und zeitlicher Auflösung (e.g. dell, das nur mit Daten aus einem me- se, die Niederschlag in Abfluss verwan-
verschieden generierte Ensemble-Vor- teorologischen Produkt gefüttert wird deln, (richtig) modelliert. Allerdings ist
hersagen). Dabei variieren vor allem (Abb. 8). Weiter ist das Modell, IN das bekannt, dass hydrologische Modelle
die Niederschlagsdaten für ein und alle drei meteorologischen Produkte auf zwar beispielsweise Bodenfeuchte oder
denselben Ort und Zeitpunkt teilweise einmal einfließen, besser als das bes- Schnee intern modellieren, diese Wer-
deutlich, und trotzdem gibt es zumeist te der Modelle, die eine Kombination te jedoch nur bedingt an die realen
kein universal „bestes“ Niederschlags- aus zwei meteorologischen Produkten Prozesse gekoppelt sind und zwischen
produkt (z. B. Behnke et al. 2016). DL erhalten. Kurz gesagt: je mehr (un- verschiedenen hydrologischen Model-
bietet die Möglichkeit, aus den unter- terschiedliche) meteorologische Daten len stark variieren können (Bouaziz
schiedlichen meteorologischen Daten- (insbesondere Niederschlag) das Mo- et al. 2020).
produkten möglicherweise vorhandene dell gleichzeitig erhält, desto besser. Bei neuronalen Netze ist zunächst
Synergien zu extrahieren. Ein einzelnes Vergleicht man das beste Modell nicht klar, was intern modelliert wird,
Modell kann sich diese Synergieeffek- (jenes, das alle drei meteorologischen um von den Eingabedaten auf die Ziel-
te zunutze machen und somit bessere Daten auf einmal bekommt) mit dem variable zu kommen. Das Forschungs-
Ergebnisse erzeugen. regionalen Modell aus den vorherigen feld der Explainable AI widmet sich
Wie im Abschn. 2.2 beschrieben, Kapiteln, so ergibt sich eine konstante diesem Thema und erforscht Metho-
stehen im CAMELS-Datensatz drei ver- Verbesserung der Modellgüte (Abb. 9). den, die das Modellverständnis verbes-
schiedene meteorologische Produkte Eines der gängigsten Verfahren, um sern sollen (Samek et al. 2019). Hinzu
zur Verfügung (DayMet, Maurer und Informationen aus unterschiedlichen kommt, dass das LSTM explizite Spei-
NLDAS). In Kratzert et al. (2020) ha- meteorologischen Datensätzen mit cherzellen besitzt (siehe Abschn. 2.1)
ben wir untersucht, wie sich die Ver- klassischen hydrologischen Modellen und es möglich ist zu analysieren, was
wendung mehrerer unterschiedlicher zu verwenden, ist das Bilden eines das LSTM über die Zeit in diesen Zellen
Niederschlagsdaten (neben anderen „Modell-Ensembles“. Hierbei werden modelliert.
meteorologischen Variablen) auf die für jeden meteorologischen Datensatz In Kratzert et al. (2018a, 2019a,
Modellgüte auswirken. Dazu haben wir Modelle separat kalibriert und die Vor- 2019c) haben wir untersucht, was das
regionale LSTM für jedes meteorologi- hersagen der einzelnen Modelle dann LSTM in seinen Speicherzellen model-
Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)
Originalarbeit
dessen Anwendung in der Hydrologie
siehe Hoedt et al. (2021).
4.2 Berücksichtigung mehrerer
Zeitskalen
Für viele Anwendungen genügt es, Pro-
gnosen in täglicher Auflösung bereitzu-
stellen. Für bestimmte Aufgabenberei-
che, etwa die Flutvorhersage, ist diese
Auflösung jedoch nicht ausreichend.
Ein wichtiges Forschungsgebiet der
LSTM-basierten Modellierung ist da-
her die Vorhersage in hoher zeitlicher
Auflösung (etwa stündlich). Hierbei er-
geben sich sehr lange Zeitreihen der
Eingabedaten, was die Anwendung von
LSTMs in der Praxis erschwert. Weiter-
hin müsste man in diesem Ansatz je
ein unabhängiges LSTM für jede Zie-
Abb. 7 Vergleich der Modellgüte für die Vorhersage in unbeobachteten Einzugsgebie- lauflösung trainieren, wobei mit hoher
ten (PUB) Wahrscheinlichkeit die Vorhersagen der
einzelnen Modelle inkonsistent wür-
liert und konnten dabei nachweisen, 2. Das Prinzip des MTS-LSTM (Gauch den.
dass das LSTM wichtige hydrologische et al. 2020), mit dem es möglich ist, Multi-Timescale LSTMs (MTS-LSTM,
Prozesse wie Bodenfeuchte und Schnee aus einem LSTM-basierten Modell Gauch et al. 2020) bieten eine Lösung
intern modelliert, obwohl es nur trai- Abflussprognosen in unterschiedli- für diese Probleme: Es ermöglicht die
niert wurde, aus meteorologischen Da- chen zeitlichen Auflösungen zu ge- gemeinsame Vorhersage in verschie-
ten Abfluss vorherzusagen. Abb. 10 zeigt winnen. denen zeitlichen Auflösungen durch
beispielhaft den Vergleich von mo- 3. LSTM-basierte Modelle zur direk- ein einziges Modell. Zudem bietet es
delliertem Schnee-Wasser-Äquivalent ten Schätzung von Unsicherheiten die Möglichkeit, Eingabedaten mit un-
(SWE) eines etablierten Schneemodells in den Abflussprognosen (Klotz et al. terschiedlichen Vorhersagehorizonten
(Snow-17; REF) mit SWE, welches aus 2021). (lead times) für die verschiedenen Auf-
den Speicherzellen des LSTM abgelei- lösungen zu nutzen. Intuitiv basiert der
tet wurde. Dies ist ein Indikator dafür, 4.1 Massenerhaltung Ansatz darauf, dass der Wasserkreislauf
dass der datenbasierte Ansatz keine ein gedämpftes System ist: Für stünd-
Scheinkorrelationen abbildet, sondern Das Mass-Conserving LSTM (MC-LSTM; liche Vorhersagen sind hochaufgelöste
den unterliegenden Prozess intern wie- Hoedt et al. 2021) ist eine vor kurzem Daten der nahen Vergangenheit wich-
dergibt. Gepaart mit der exzellenten entwickelte Adaptierung des LSTM, das tig, während für weit zurückliegende
Modellgüte (siehe Abschnitt „Regionale durch seine Architektur die Erhaltung Ereignisse eine niedrigere Auflösung
Modellierung“) ist also davon auszu- von Massen-Inputs garantiert. Hier- genügt. Für eine detaillierte Beschrei-
gehen, dass LSTMs tatsächlich hydro- bei muss die Masse nicht zwangsläufig bung des Ansatzes verweisen wir auf
logisch relevante Prozesse lernen und Wasser sein, sondern kann auch jede Gauch et al. (2020).
intern modellieren, die es dem LSTM andere beliebige Größe repräsentie-
ermöglichen, einzugsgebietsübergrei- ren (z. B. Energie, Geld, Personen). Das 4.3 Schätzung von Unsicherheiten
fend gute Vorhersagen zu liefern. MC-LSTM besitzt nach wie vor explizite
Resümee: Es ist möglich, die Spei- Speicher, allerdings werden die Einga- Unsicherheiten sind eine intrinsische
cher von LSTMs mit hydrologischen bedaten in zwei Gruppen aufgeteilt: Komponente der hydrologischen Mo-
Prozessen in Verbindung zu setzen und Massen-Inputs und Nicht-Massen-In- dellierung. Jede Vorhersage, jede Mes-
so Einsichten über die interne Organi- puts. Letztere werden ausschließlich sung und jedes Modell ist mit Unsicher-
sation der ML-Modelle zu gewinnen. für die Steuerung innerhalb des Netz- heit behaftet. Die Schätzung von Unsi-
werkes verwendet (wie viel Masse fließt cherheiten ist eine zentrale Komponen-
4 Erweiterungen wohin, wie viel Masse verlässt an ei- te vieler modellgestützter Anwendun-
nem Zeitschritt das System etc.) und gen. Die Bereitstellung einer solchen
Abschließend wollen wir noch auf ei- die Massen-Inputs sind jene Werte, die Schätzung ist jedoch nicht trivial und
nige eine Reihe weiterer Forschungser- in ihrer Gesamtbilanz im System erhal- oft mit facettenreichen Problemstellun-
gebnisse eingehen, die auch im Kontext ten werden (z. B. Wasser in Form von gen assoziiert (Nearing und Gupta 2015;
der hydrologischen Modellierung von Niederschlag). In den Speichern des Beven 2016). Klassische Modelle benö-
Interesse sind: MC-LSTM wird ausschließlich Masse tigen in der Regel einen zusätzlichen
1. Das MC-LSTM (Hoedt et al. 2021), ei- gespeichert (also z. B. Wasser), was eine Mechanismus, um eine solche Schät-
ne neue Variante des LSTM mit Mas- Interpretation des Modells erleichtert. zung zu ermöglichen (z. B. pre-process-
senerhaltung. Für eine technische Beschreibung des ing, post-processing, Datenassimilati-
MC-LSTM sowie erste Ergebnisse zu on oder Monte-Carlo-Sampling). DL-
Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)
Originalarbeit
Abb. 8 Verteilung der NSE-Werte für regionale LSTMs, die mit je einem meteorologischen Produkt (grün), mit je einer Kombination
aus zwei Produkten (blau) bzw. mit allen drei verfügbaren Produkten (rot) kalibriert wurden
basierte Modelle können die Unsicher-
heiten direkt aus dem Modell ableiten.
Grundsätzlich werden dabei entweder
modellintrinsische Eigenschaften ge-
nutzt oder Architekturen verwendet,
die direkte probabilistische Vorhersa-
gen ermöglichen. In Klotz et al. (2021)
vergleichen und testen wir eine Reihe
von Methoden zur Unsicherheitsschät-
zung mit DL-basierten Niederschlags-
Abfluss-Modellen. Im Test zeichnet sich
bereits ab, dass DL-basierte Verfahren
sehr gute Unsicherheitsschätzungen
ermöglichen.
5 Zusammenfassung, Diskussion
und Ausblick
Viele technologische Entwicklungen
der letzten Jahre sind auf Deep Learn-
Abb. 9 Modellgütevergleich für die Ansätze mit mehrerer meteorologischen Einga- ing (DL) zurückzuführen. In diesem
ben. Die empirischen kumulativen Verteilungsfunktionen zeigen ein hydrologisches En- Beitrag haben wir gezeigt, wie sich DL-
semble-Modell (SAC-SMA; blaue unterbrochene Linie) im Vergleich zu einem LSTM, Modelle, im Speziellen das Long Short-
das mehrere meteorologische Datenprodukte als Eingaben verwendet (LSTM (multi Term Memory Netzwerk (LSTM), für
forcing); orange Linie mit Punkten). Das normale LSTM, das bereits in den vorherigen wasserwirtschaftliche Fragestellungen
Experimenten eingeführt wurde (LSTM (single forcing); orange Linie), dient hierbei als nutzen lassen.
Orientierungspunkt, um die Güte einordnen zu können Zuerst haben wir demonstriert, dass
LSTM-basierte hydrologische Modelle
stark davon profitieren, wenn sie für ei-
ne große Anzahl an (unterschiedlichen)
Einzugsgebieten gleichzeitig trainiert
werden und dass diese Vorgehensweise
Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)
Originalarbeit
Abb. 10 Beispielhafter Vergleich von Schnee-Wasser-Äquivalent (mittlere Reihe), modelliert vom Schneemodell Snow-17 (blaue
Linien) sowie extrahiert aus LSTM-Speichern (orange unterbrochene Linie). Zusätzlich dargestellt sind Niederschlag (obere Reihe)
und Tageshöchst- sowie Tagestiefsttemperatur (untere Reihe). Beim Niederschlag sind Tage mit Temperaturen unter dem Gefrier-
punkt als schwarze Balken dargestellt
einzugsgebietsspezifischen Modellen schiedlichen meteorologischen Daten- Trotz der vielversprechenden Ergeb-
überlegen ist. sätzen zu extrahieren und für die Ver- nisse befinden wir uns noch in der
Der Vergleich dieser „regionalen“ besserung der Modellgüte zu Nutzen. Anfangsphase von DL-basierten An-
LSTMs mit klassischen hydrologischen Zuletzt haben wir gezeigt, dass sätzen. Die Möglichkeiten bzw. Limi-
Modellen liefert zwei wesentliche Er- LSTMs relevante hydrologische Pro- tierungen sind noch nicht genügend
gebnisse: Erstens, die regionalen LSTMs zesse (wie z. B. das Akkumulieren und erforscht. Wir erwarten daher, dass in
sind regional kalibrierten hydrologi- Schmelzen von Schnee) lernen, oh- den nächsten Jahren noch zahlreiche
schen Modellen deutlich überlegen. ne darauf trainiert worden zu sein. Erweiterungen konzipiert und Anwen-
Zweitens, das regionale LSTM ist auch Dies legt nahe, dass das LSTM keine dungen erschlossen werden.
besser als einzugsgebietsspezifische hy- Scheinkorrelationen lernt, sondern die Hierfür seien zwei Beispiele genannt:
drologische Modelle. tatsächlichen physikalischen Zusam- (a) Die Erstellung von räumlich verteil-
Des Weiteren haben wir gezeigt, dass menhänge zwischen meteorologischen ten DL-Modellen, welche die Fluss-
ein regionales LSTM ein sehr allgemei- Eingabedaten und Abfluss. struktur explizit mit einbeziehen. Es
nes hydrologisches Prozessverständnis Die künstliche Intelligenz bietet gro- existieren bereits erste Ansätze, die dies
lernt. Angewendet auf Einzugsgebiete, ße Chancen für die wasserwirtschaft- versuchen (z. B. Moshe et al. 2020), je-
die nicht für das Training des Modells liche Anwendung. In diesem Beitrag doch gibt noch keinen allgemeinen, gut
verwendet wurden (eine Annäherung haben wir das Potenzial anhand der skalierbaren Lösungsansatz. (b) Das
an die Vorhersage in unbeobachteten jüngsten Entwicklungen in der Nieder- Verwenden von DL-Modellen für hypo-
Einzugsgebieten), liefert das regionale schlags-Abfluss-Modellierung heraus- thetische Untersuchungen. Beispiels-
LSTM im Durchschnitt bessere Simu- gearbeitet. Diese Fortschritte demons- weise die Fragestellung: Wie würde sich
lationsergebnisse als speziell für die trieren, wie bereits jetzt leistungsfähige die Aufforstung in einem Teil des Ein-
Einzugsgebiete kalibrierte hydrologi- Werkzeuge aus dieser Technologie ge- zugsgebiets auf den Abfluss auswirken?
sche Modelle. wonnen werden können. Die jetzigen Beide Themengebiete sind Bestand-
Ein weiterer Vorteil von DL-Model- prototypischen Vorhersagemodelle er- teil unserer aktuellen Forschung.
len ist, dass sie beliebige Daten als Ein- zielen bereits bessere Ergebnisse als
gabedaten erlauben. LSTMs sind in der klassische Ansätze, die bereits über Jah- Funding Open access funding provided
Lage, synergetische Effekte aus unter- re verbessert wurden. by Johannes Kepler University Linz.
Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)
Originalarbeit
Open Access Dieser Artikel wird unter angeben, ob Änderungen vorgenom- fende Handlung nicht nach gesetzlichen
der Creative Commons Namensnen- men wurden. Vorschriften erlaubt ist, ist für die oben
nung 4.0 International Lizenz veröffent- aufgeführten Weiterverwendungen des
licht, welche die Nutzung, Vervielfäl- Die in diesem Artikel enthaltenen Bil- Materials die Einwilligung des jeweili-
tigung, Bearbeitung, Verbreitung und der und sonstiges Drittmaterial unter- gen Rechteinhabers einzuholen.
Wiedergabe in jeglichem Medium und liegen ebenfalls der genannten Crea-
Format erlaubt, sofern Sie den/die ur- tive Commons Lizenz, sofern sich aus Weitere Details zur Lizenz entnehmen
sprünglichen Autor(en) und die Quelle der Abbildungslegende nichts anderes Sie bitte der Lizenzinformation auf
ordnungsgemäß nennen, einen Link zur ergibt. Sofern das betreffende Materi- http://creativecommons.org/licenses/
Creative Commons Lizenz beifügen und al nicht unter der genannten Creative by/4.0/deed.de.
Commons Lizenz steht und die betref-
Literatur
Addor, N., Newman, A. J., Mizukami, N. & Clark, Renner, M., Reynolds, J. E., Ridolfi, E., Rigon, Earth Syst. Sci., 25, 2045–2062, https://doi.org/
M. P. (2017): The CAMELS data set: catchment R., Riva, M., Robertson, D. E., Rosso, R., Roy, T., 10.5194/hess-25-2045-2021.
attributes and meteorology for large-sample Sá, J. H. M., Salvadori, G., Sandells, M., Schae- Gers, F. A., Schmidhuber, J., and Cummins, F.
studies, Hydrology and Earth System Sciences fli, B., Schumann, A., Scolobig, A., Seibert, J., (2000): Learning to Forget: Continual Prediction
21(10), 5293–5313. Servat, E., Shafiei, M., Sharma, A., Sidibe, M., with LSTM, Neural Comput., 12, 2451–2471
Behnke, R., Vavrus, S., Allstadt, A., Albright, T., Sidle, R. C., Skaugen, T., Smith, H., Spiessl, S. Halevy, A., Norvig, P. & Pereira, F. (2009): The
Thogmartin, W. E. & Radeloff, V. C. (2016): Eva- M., Stein, L., Steinsland, I., Strasser, U., Su, B., unreasonable effectiveness of data, IEEE Intelli-
luation of downscaled, gridded climate data for Szolgay, J., Tarboton, D., Tauro, F., Thirel, G., gent Systems 24(2), 8–12.
the conterminous United States, Ecological ap- Tian, F., Tong, R., Tussupova, K., Tyralis, H., Hersbach, H., Bell, B., Berrisford, P., Hiraha-
plications 26(5), 1338–1351. Uijlenhoet, R., van Beek, R., van der Ent, R. J., ra, S., Horбnyi, A., Mucoz-Sabater, J., Nicolas,
Beven, K. (2016): Facets of uncertainty: episte- van der Ploeg, M., Loon, A. F. V., van Meerveld, J., Peubey, C., Radu, R., Schepers, D. & others
mic uncertainty, non-stationarity, likelihood, hy- I., van Nooijen, R., van Oel, P. R., Vidal, J.-P., (2020): The ERA5 global reanalysis, Quarter-
pothesis testing, and communication. Hydrolo- von Freyberg, J., Vorogushyn, S., Wachniew, P., ly Journal of the Royal Meteorological Society
gical Sciences Journal 61(9):1652–1665. Wade, A. J., Ward, P., Westerberg, I. K., White, 146(730), 1999–2049.
Beven, K. (2019): Towards a methodology for C., Wood, E. F., Woods, R., Xu, Z., Yilmaz, K. Hinton, G., Deng, L., Yu, D., Dahl, G. E., Moha-
testing models as hypotheses in the inexact K. & Zhang, Y. (2019): Twenty-three unsolved med, A.-R., Jaitly, N., Senior, A., Vanhoucke, V.,
sciences, Proceedings of the Royal Society A problems in hydrology (UPH)—a communi- Nguyen, P., Sainath, T. N. & others (2012): Deep
475(2224), 20180862. ty perspective, Hydrological Sciences Journal neural networks for acoustic modeling in speech
Blöschl, G. & Sivapalan, M. (1995): Scale issues 64(10), 1141–1158. recognition: The shared views of four research
in hydrological modelling: a review, Hydrological Blöschl, G., Sivapalan, M., Savenije, H., Wage- groups, IEEE Signal processing magazine 29(6),
processes 9(3–4), 251–290. ner, T. & Viglione, A. (2013): Runoff prediction 82–97.
Blöschl, G., Bierkens, M. F. P., Chambel, A., Cu- in ungauged basins: synthesis across processes, Hochreiter, S. (1991): Untersuchungen zu dyna-
dennec, C., Destouni, G., Fiori, A., Kirchner, J. places and scales, Cambridge University Press. mischen neuronalen Netzen, Diploma, Techni-
W., McDonnell, J. J., Savenije, H. H. G., Sivapa- Bouaziz, L. J. E., Thirel, G., de Boer-Euser, T., sche Universität München 91(1).
lan, M., Stumpp, C., Toth, E., Volpi, E., Carr, G., Melsen, L. A., Buitink, J., Brauer, C. C., De Hochreiter, S. & Schmidhuber, J. (1997): Long
Lupton, C., Salinas, J., Széles, B., Viglione, A., Niel, J., Moustakas, S., Willems, P., Grelier, short-term memory, Neural computation 9(8),
Aksoy, H., Allen, S. T., Amin, A., Andréassian, V., B., Drogue, G., Fenicia, F., Nossent, J., Perei- 1735–1780.
Arheimer, B., Aryal, S. K., Baker, V., Bardsley, E., ra, F., Sprokkereef, E., Stam, J., Dewals, B. J., Hoedt, P.-J., Kratzert, F., Klotz, D., Halmich, C.,
Barendrecht, M. H., Bartosova, A., Batelaan, O., Weerts, A. H., Savenije, H. H. G. & Hrachowitz, Holzleitner, M., Nearing, G., Hochreiter, S., and
Berghuijs, W. R., Beven, K., Blume, T., Bogaard, M. (2020): Behind the scenes of streamflow mo- Klambauer, G. (2021): MC-LSTM: Mass-Conser-
T., de Amorim, P. B., Böttcher, M. E., Boulet, G., del performance, Hydrology and Earth System ving LSTM, available at: https://arxiv.org/abs/
Breinl, K., Brilly, M., Brocca, L., Buytaert, W., Sciences Discussions 2020, 1–38. 2101.05186.
Castellarin, A., Castelletti, A., Chen, X., Chen, Burnash, R. J. C., Ferral, R. L., and McGuire, Hrachowitz, M., Savenije, H. H. G., Blцschl,
Y., Chen, Y., Chifflard, P., Claps, P., Clark, M. R. A. (1973): A generalised streamflow simulati- G., McDonnell, J. J., Sivapalan, M., Pomeroy, J.
P., Collins, A. L., Croke, B., Dathe, A., David, P. on system conceptual modelling for digital com- W., Arheimer, B., Blume, T., Clark, M. P., Ehret,
C., de Barros, F. P. J., de Rooij, G., Baldassarre, puters., Tech. rep., US Department of Commerce U. & others (2013): A decade of Predictions in
G. D., Driscoll, J. M., Duethmann, D., Dwive- National Weather Service and State of California Ungauged Basins (PUB)—a review, Hydrological
di, R., Eris, E., Farmer, W. H., Feiccabrino, J., Department of Water Resources, Sacramento, sciences journal 58(6), 1198–1255.
Ferguson, G., Ferrari, E., Ferraris, S., Fersch, CA, USA. Kirchner, J. W. (2006): Getting the right answers
B., Finger, D., Foglia, L., Fowler, K., Gartsman, Burnash, R. J. C. (1995): The NWS river forecast for the right reasons: Linking measurements,
B., Gascoin, S., Gaume, E., Gelfan, A., Geris, system-catchment modeling, Computer models analyses, and models to advance the science of
J., Gharari, S., Gleeson, T., Glendell, M., Be- of watershed hydrology. 1995 pp.311–366 ref.12. hydrology, Water Resour. Res., 42, 1–5.
vacqua, A. G., González-Dugo, M. P., Grimaldi, Cosgrove, B. & Klemmer, C. (2019): The Natio- Klemes, V. (1983): Conceptualization and scale
S., Gupta, A. B., Guse, B., Han, D., Hannah, nal Water Model, US National Oceanic and At- in hydrology, Journal of hydrology 65(1–3), 1–23.
D., Harpold, A., Haun, S., Heal, K., Helfricht, mospheric Administration, https://water.noaa. Klemes, V. (1986): Dilettantism in hydrology:
K., Herrnegger, M., Hipsey, M., Hlaváčiková, gov/about/nwm, last access: 2021-01-25. Transition or destiny?, Water Resources Research
H., Hohmann, C., Holko, L., Hopkinson, C., Feigl, M., Herrnegger, M., Klotz, D. & Schulz, K. 22(9S), 177S–188S.
Hrachowitz, M., Illangasekare, T. H., Inam, A., (2020): Function Space Optimization: A symbo- Klemes, V. (1997): Guest editorial: Of carts and
Innocente, C., Istanbulluoglu, E., Jarihani, B., lic regression method for estimating parameter horses in hydrologic modeling, Journal of Hydro-
Kalantari, Z., Kalvans, A., Khanal, S., Khatami, transfer functions for hydrological models, Wa- logic Engineering 2(2), 43–49.
S., Kiesel, J., Kirkby, M., Knoben, W., Kochanek, ter resources research 56(10), e2020WR027385. Klotz, D., Herrnegger, M. & Schulz, K. (2017):
K., Kohnová, S., Kolechkina, A., Krause, S., Kre- Fekete, B. M., Vörösmarty, C. J., Roads, J. O. & Symbolic regression for the estimation of trans-
amer, D., Kreibich, H., Kunstmann, H., Lange, Willmott, C. J. (2004): Uncertainties in Precipi- fer functions of hydrological models, Water
H., Liberato, M. L. R., Lindquist, E., Link, T., tation and Their Impacts on Runoff Estimates, Resources Research 53(11), 9402–9423.
Liu, J., Loucks, D. P., Luce, C., Mahé, G., Maka- Journal of Climate 17(2), 294–304. Klotz, D., Kratzert, F., Gauch, M., Keefe Samp-
rieva, O., Malard, J., Mashtayeva, S., Maskey, S., Gauch, M., Mai, J. & Lin, J. (2021): The pro- son, A., Brandstetter, J., Klambauer, G., Hoch-
Mas-Pla, J., Mavrova-Guirguinova, M., Mazzo- per care and feeding of CAMELS: How limited reiter, S., and Nearing, G. (2021): Uncertain-
leni, M., Mernild, S., Misstear, B. D., Montanari, training data affects streamflow prediction, En- ty Estimation with Deep Learning for Rain-
A., Müller-Thomy, H., Nabizadeh, A., Nardi, F., vironmental Modelling & Software 135, 104926. fall–Runoff Modelling, Hydrol. Earth Syst. Sci.
Neale, C., Nesterova, N., Nurtaev, B., Odongo, V. Gauch, M., Kratzert, F., Klotz, D., Nearing, G., Discuss. [preprint], https://doi.org/10.5194/
O., Panda, S., Pande, S., Pang, Z., Papacharal- Lin, J., & Hochreiter, S. (2021): Rainfall–runoff hess-2021-154, in review.
ampous, G., Perrin, C., Pfister, L., Pimentel, R., prediction at multiple timescales with a single Kratzert, F., Herrnegger, M., Klotz, D., Hochrei-
Polo, M. J., Post, D., Sierra, C. P., Ramos, M.-H., Long Short-Term Memory network, Hydrol. ter, S. & Klambauer, G. (2018a): Do internals of
Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)Originalarbeit
neural networks make sense in the context of Mizukami, N., Clark, M. P., Newman, A. J., Samaniego, L., Kumar, R., and Attinger, S.
hydrology?, in AGU Fall Meeting Abstracts, pp. Wood, A. W., Gutmann, E. D., Nijssen, B., Ra- (2010): Multiscale parameter regionalization
H13B–06. kovec, O. & Samaniego, L. (2017): Towards se- of a grid-based hydrologic model at the mesos-
Kratzert, F., Herrnegger, M., Klotz, D., Hochrei- amless large-domain parameter estimation for cale, Water Resour. Res., 46, W05523, https://doi.
ter, S. & Klambauer, G. (2019a): NeuralHydro- hydrologic models, Water Resources Research org/10.1029/2008WR007327.
logy—Interpreting LSTM in HydrologyExplaina- 53(9), 8020–8040. Samek, W., Montavon, G., Vedaldi, A., Hansen,
ble AI: Interpreting, Explaining and Visualizing Moshe, Z., Metzger, A., Elidan, G., Kratzert, F., L. K. & Müller, K.-R. (2019): Explainable AI:
Deep Learning, Springer, , pp. 347–362. Nevo, S. & El-Yaniv, R. (2020): HydroNets: Lever- interpreting, explaining and visualizing deep
Kratzert, F., Klotz, D., Herrnegger, M., Samp- aging River Structure for Hydrologic Modeling, learning, Vol. 11700, Springer Nature.
son, A. K., Hochreiter, S. & Nearing, G. S. in Workshop on AI for Earth Sciences 8th Inter- Seibert, J. & Vis, M. J. P. (2012): Teaching
(2019b): Toward improved predictions in un- national Conference on Learning Representati- hydrological modeling with a user-friendly
gauged basins: Exploiting the power of machine ons (ICLR 2020). catchment-runoff-model software package,
learning, Water Resources Research 55(12), Nearing, G. S. & Gupta, H. V. (2015): The quan- Hydrology and Earth System Sciences 16(9),
11344–11354. tity and quality of information in hydrologic mo- 3315–3325.
Kratzert, F., Klotz, D., Brenner, C., Schulz, K., dels, Water Resources Research 51(1), 524–538. Sivapalan, M. (2003): Prediction in ungauged
and Herrnegger, M. (2018b): Rainfall–runoff Nearing, G. S., Kratzert, F., Sampson, A. K., Pe- basins: a grand challenge for theoretical hydro-
modelling using Long Short-Term Memory lissier, C. S., Klotz, D., Frame, J. M., Prieto, C. & logy, Hydrological Processes 17(15), 3163–3170.
(LSTM) networks, Hydrol. Earth Syst. Sci., 22, Gupta, H. V. (2021): What role does hydrologi- Sutskever, I., Vinyals, O. & Le, Q. V. (2014):
6005–6022, https://doi.org/10.5194/hess-22- cal science play in the age of machine learning?. Sequence to sequence learning with neural
6005-2018. Water Resources Research, 57, e2020WR028091. networks, Advances in neural information pro-
Kratzert, F., Klotz, D., Hochreiter, S., and Nea- https://doi.org/10.1029/2020WR028091 cessing systems 27, 3104–3112.
ring, G. S. (2020): A note on leveraging synergy Newman, A. J., Clark, M. P., Sampson, K., Wood, Thornton, P. E., Thornton, M. M., Mayer, B.
in multiple meteorological datasets with deep A., Hay, L. E., Bock, A., Viger, R. J., Blodgett, W., Wilhelmi, N., Wei, Y., Devarakonda, R. &
learning for rainfall-runoff modeling, Hydrol. D., Brekke, L., Arnold, J. R. & others (2015): Cook, R. (2012): Daymet: Daily surface weather
Earth Syst. Sci. Discuss. [preprint], https://doi. Development of a large-sample watershed-scale on a 1 km grid for North America, 1980–2008,
org/10.5194/hess-2020-221, in review. hydrometeorological data set for the contiguous Oak Ridge National Laboratory (ORNL) Distri-
Kratzert, F., Klotz, D., Shalev, G., Klambauer, G., USA: data set characteristics and assessment of buted Active Archive Center for Biogeochemical
Hochreiter, S., and Nearing, G. (2019c): Towards regional variability in hydrologic model perfor- Dynamics (DAAC).
learning universal, regional, and local hydrolo- mance, Hydrology and Earth System Sciences Xia, Y., Mitchell, K., Ek, M., Sheffield, J., Cos-
gical behaviors via machine learning applied to 19(1), 209–223. grove, B., Wood, E., Luo, L., Alonge, C., Wei,
large-sample datasets, Hydrol. Earth Syst. Sci., Parajka, J., Viglione, A., Rogger, M., Salinas, J. H., Meng, J. & others (2012): Continental-scale
23, 5089–5110, https://doi.org/10.5194/hess- L., Sivapalan, M., and Blöschl, G. (2013): Com- water and energy flux analysis and validation
23-5089-2019. parative assessment of predictions in ungauged for the North American Land Data Assimilation
Krizhevsky, A., Sutskever, I. & Hinton, G. E. basins – Part 1: Runoff-hydrograph studies, Hy- System project phase 2 (NLDAS-2): 1. Intercom-
(2017): Imagenet classification with deep con- drol. Earth Syst. Sci., 17, 1783–1795, https://doi. parison and application of model products, J.
volutional neural networks, Communications of org/10.5194/hess-17-1783-2013. Geophys. Res., 117, D03109, https://doi.org/10.
the ACM 60(6), 84–90. Radford, A., Jуzefowicz, R. & Sutskever, I. 1029/2011JD016048.
Liang, X., Lettenmaier, D. P., Wood, E. F. & Bur- (2017): Learning to Generate Reviews and Dis-
ges, S. J. (1994): A simple hydrologically based covering Sentiment, CoRR abs/1704.01444.
Hinweis des Verlags Der Verlag bleibt
model of land surface water and energy fluxes for Salas, F. R., Somos-Valenzuela, M. A., Dugger,
general circulation models, Journal of Geophysi- A., Maidment, D. R., Gochis, D. J., David, C. H., in Hinblick auf geografische Zuordnun-
cal Research: Atmospheres 99(D7), 14415–14428. Yu, W., Ding, D., Clark, E. P. & Noman, N. (2018): gen und Gebietsbezeichnungen in ver-
Maurer, E. P., Wood, A. W., Adam, J. C., Letten- Towards real-time continental scale streamflow öffentlichten Karten und Institutsadres-
maier, D. P. & Nijssen, B. (2002): A long-term hy- simulation in continuous and discrete space,
drologically based dataset of land surface fluxes JAWRA Journal of the American Water Resources sen neutral.
and states for the conterminous United States, Association 54(1), 7–27.
Journal of climate 15(22), 3237–3251.
Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)Sie können auch lesen
