Künstliche Intelligenz und Biodiversität - Prof. Dr.-Ing. Jan Dirk Wegner EcoVision Lab Universität Zürich & ETH Zürich Jan Dirk Wegner

Künstliche Intelligenz und
Biodiversität
Prof. Dr.-Ing. Jan Dirk Wegner
EcoVision Lab
Universität Zürich & ETH Zürich
Jan Dirk Wegner

Stopp von Verlust der Biodiversität und Schutz der Umwelt

         Abnahme Biodiversität bis 2080
 Tiere

Pflanzen

Biodiversität

                            crowd-sourced Biodiversität
• Ziel: Automatische
  Bestimmung der Arten,
  die an einem
  bestimmten Ort
  vorkommen
                                                          ?
• State-of-the-art:
  manuelle Bestimmung
  von Experten vor Ort

• Idee: Kombination von
  crowd-sourcing,
  künstlicher Intelligenz
  und Fernerkundung
                                  Satellitenbilder

Biodiversität

Zwei verschiedene Strategien werden hier
vorgestellt:

1) Direkt: Abschätzung der Artenvielfalt per
   App-basiertem crowd-sourcing

2) Indirekt: Bestimmung von
   Umweltparametern, die die Artenvielfalt
   beeinflussen mittels Fernerkundung ➔
   Input für Modellierung der Biodiversität
                                               (Image credits: NPS/Renata Harrison, source)

1) Direkt: App-basierte Beobachtung von Pflanzen- und Tierarten

Nutzer (sog. Citizen scientists) sammeln per
smartphone-App Daten zur Artenvielfalt:

  − Experten tragen erkannte Art direkt ein (sehr
    geringe Anzahl der App-Nutzer)
  − Weniger Erfahrene machen Fotos, die dann
    automatisch mittels deep learning ausgewertet
    werden (der grösste Anteil der App-Nutzer)

Idee: Auswertung der Bilder mit Kontextinformation:

  − Räumlicher Kontext vom Aufnahmeort des Bildes
  − Hierarchische Zusammenhänge der
    verschiedenen Pflanzen- und Tierarten

                                                      (Image credits: iNaturalist, Freepik.com)

Eigenschaften von App-basiertem crowd-sourcing

 ●   Wenige Arten werden sehr oft beobachtet, viele nur   ●   Oft nur eine oder wenige Arten
     sehr selten ➔ auch aufgrund von systematischen           gemeldet aber sehr viele weitere
     Effekten (besonders schöne Blumen werden oft             existieren am gleichen Ort
     gemeldet, einfacher Zugang …)

                                                                                           ❏ Jacobaea vulgaris

                                                                                           ❏ Melampyrum arvense

                                                                                           ❏ Anthericum liliago

                                                                                           ❏ Polygonatum odoratum

                                                                                           ❏ Dianthus sylvestris

                                                                                     ...
                                                                                           ❏   Amelanchier ovalis

Wie funktioniert deep learning?
                                                                 Genauigkeit des Ergebnisses hängt
                                                                 stark von guten Merkmalen ab.

                                                 Manuell
                       Eingangsdaten            entworfene               ML Model
                                                 Merkmale
Traditionalles
maschinelles Lernen:

                                                   Deep Learning
                                               Automatisch
                       Eingangsdaten             gelernte        Model
                                                Merkmale
 Deep learning:

                                       Merkmale und Model werden gemeinsam gelernt und
                                                 unterstützen sich gegenseitig                 slide credit:
                                                                                               Michele Catasta

Methode: Kontext

Kontext der Bildaufnahme, die in den Apps        Erkennung der Tier- oder
gespeichert wird:                             Pflanzenart anhand des Fotos

  − Geographische Koordinaten und Höhe
  − Datum (Jahreszeit etc.)

Gemeinsame Auswertung der Fotos und des
Kontexts:

  − Produkt der Ergebnisse von deep
    learning Ansatz (sog. ResNet) und
    Kontext-Klassifizierer
                                              Information zu Verbreitung und
  − Approximation der                       saisonalem Auftreten verschiedener
    Wahrscheinlichkeitsverteilung der             Tier- und Pflanzenarten
    Tier- und Pflanzenarten

Methode: Hierarchie der Arten

       Erkennung der Tier- oder
    Pflanzenart anhand des Fotos

                                         Seltene Arten die
                                         Gemeinsamkeiten
                                         aufweisen, werden
                                         gemeinsam
                                         betrachtet

      Information zu Verbreitung und
    saisonalem Auftreten verschiedener
          Tier- und Pflanzenarten

Erste Ergebnisse: Kontextinformation und Einbezug der Artenhierarchien

      Ohne Kontext und Artenhierarchien            Mit Kontext und Artenhierarchien

    Level       Species       Genus       Family      Order         Class        Phylum
    Top-1       68.09%        74.90%      80.86%     82.68%        95.58%        99.73%
    Top-3       82.78%        86.73%      91.89%     93.59%        99.86%             --*
    Top-5       87.47%        90.35%      94.76%     96.42%        99.98%             --

2) Indirekt: Messung von Biodiversitätsvariablen mittels Fernerkundung

• Direkte Bestimmung von
  Biodiversität oft ungenau, da
  es zu wenig Daten gibt

• Vegetationsparameter sind
  Indikatoren von Biodiversität

• Ziel: globales Monitoring in
  Echtzeit von
  Vegetationsparametern um
  Biodiversität indirect zu
  bestimmen

                                                                © Mighty Earth

ESA Satelliten Sentinel-2

• Konstellation von 2 Satelliten

• Wiederholrate 5 Tage
                                             © ESA
• 290 km Bildbreite am Boden

• 13 Spektralbänder für Vegetationsanalyse

• Räumliche Auflösung am Boden: 10, 20
  und 60 Meter

                                             © ESA

Künstliche Intelligenz – Deep learning

• Convolutional Neural Networks (CNN)

• Detektiert und segmentiert Objekte in Bildern

• Kombination mit weiteren Daten bzgl. Wetter,
  Bodenqualität etc. möglich

• Modelparameter werden gelernt mit Hilfe von
  Bildern + Referenzdaten ("ground truth")

➔ viele Referenzdaten von guter Qualität
notwendig für genaue Vorhersagen

                                                  Arkadiusz Nowaczynski: https://blog.deepsense.ai/deep-learning-for-satellite-imagery-via-image-
                                                  segmentation/

Vegetationshöhe

• Ziel: globale Kartierung von Vegetationshöhe und Biomasse (und deren Veränderung)
• Idee: "monocular depth" aus einzelnen Satellitenbildern mit deep learning («künstliche Intelligenz»)

  Lang, N., Schindler, K., Wegner, J.D.: Country-wide high-resolution vegetation height
  mapping with Sentinel-2, Remote Sensing of Environment, 2019, vol. 233, article 111347.

Ergebnis: Gabun
         NASA: 1km                 ETH Zürich: 10m

                        Gabon

(Simard et al., 2011)
                                Genauigkeit ±4.3 m (für Baumhöhen 0 bis 65m)

Ergebnis: Schweiz

               NASA: 1km          ETH Zürich: 10m

(Simard et al., 2011)
                           Genauigkeit ±1.7 m (für Baumhöhen 0 bis 40m)

Aktuell: Übertragung auf die ganze Erde

• Ziel: globale Karte von
  Vegetationshöhe und
  Biomasse mit 20 Meter
  Auflösung
• Zusammenarbeit mit dem
  NASA GEDI team
• Idee: Trainieren eines deep
  learning Models auf full-
  waveform spaceborne
  Laserscanning Punkten der
  NASA GEDI Mission und
  globale Interpolation mit
  Satellitenbildern

©NASA
        18 GEDI
27.01.2021

Kalibrierung der GEDI-Daten

 Input waveform           Individual models

                                              ●   Mehrere Modelle werden separat
                  CNN1                            trainiert mit zufälligen
                                                  Initialisierungen

      Canopy                                  ●   Jedes Modell bestimmt einen
      top         CNN2
                                                  Mittelwert und eine Varianz

                                              ●   Varianz ist Grundlage um zu
                    ...

                                                  jedem Mittelwert eine
    Ground                                        Genauigkeitsaussage zu treffen
                  CNNT

Kalibrierung der GEDI-Daten

        Individual models     Ensemble averaging

CNN1

CNN2
  ...

CNNT

Ergebnisse: Mittlere Vegetationshöhe global mit 2.7 m Genauigkeit

Ergebnisse: Mittlere Genauigkeit (Standardabweichung)

Kombination LiDAR und Satellitenbilder

                  GEDI

                   Sentinel-2

  Hochauflösende Bestimmung von Vegetationshöhe, Biomasse sowie von weiteren
  Biodiversitätsvariablen und deren Veränderung weltweit

Fazit

✓ Künstliche Intelligenz bietet enormes
  Potential für die Beantwortung
  globaler, ökologischer Fragestellungen

✓ KI & Satellitendaten: Objektiv,
  grossflächig, (fast) Echtzeit

✓ Es braucht gute Kommunikation und
  den Einbezug aller Beteiligten:
  Bevölkerung vor Ort, Firmen, NGOs,
  Wissenschaft, Politik…

✓ JedeR kann mithelfen: florApp,           © WWF

  iNaturalist, Pl@ntnet