Unkrauterkennung und Kartierung zur automatischen Applikationskartenerstellung im Pflanzenschutz - weitere Zeitschriften des JKI

Die Seite wird erstellt Titus-Stefan Stoll
 
WEITER LESEN
Unkrauterkennung und Kartierung zur automatischen Applikationskartenerstellung im Pflanzenschutz - weitere Zeitschriften des JKI
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04   Verlag Eugen Ulmer KG, Stuttgart

                                                                                                                                                              Übersichtsarbeit
                                                              Christoph Kämpfer1, Lena Ulber1, Christina Wellhausen2, Michael Pflanz1,3

                                           Unkrauterkennung und Kartierung zur automatischen
                                                Applikationskartenerstellung im Pflanzenschutz
                                                                                                    Weed detection and mapping for automatic
                                                                                                  application map generation in crop protection
                                                                                                                                                                121

Zusammenfassung                                                              überführt und von den Partnern des Projektes genutzt,
                                                                             um in praxisnahen Feldversuchen teilflächenspezifische,
Für eine künftig umweltverträgliche und teilflächen-                         selektive Unkrautbekämpfungsmaßnahmen mit einem
spezifische Anwendung von Herbiziden ist eine genaue                         Direkteinspeisungssystem durchzuführen.
Kenntnis über die Zusammensetzung und die räumliche
Verteilung von Nutzpflanzen und Unkräutern auf Acker-                        Stichwörter: Unkrauterkennung, Unkrautverteilungs-
flächen erforderlich. Sind diese Informationen bekannt,                      karten, teilflächenspezifischer Pflanzenschutz,
können sie in Unkrautverteilungskarten abgebildet wer-                       maschinelles Lernen, künstliche Intelligenz,
den und dienen dann als Basis für die Erstellung von                         Bildverarbeitung
Applikationskarten. Eine bislang fehlende Prozesskette
beginnend beim Pflanzenmonitoring auf dem Acker,
über Methoden zur automatischen Identifizierung von                          Abstract
Einzelpflanzen und der Generierung von Verteilungskar-
ten wurden erstmals durchlaufen. Hierzu wurden im Pro-                       For environmental and site-specific application of herbi-
jekt „Assistenzsystem zur teilflächenspezifischen Appli-                     cides in the coming future, precise knowledge of the
kation von Pflanzenschutzmitteln (AssSys)“ manuelle                          structure and spatial distribution of crops and weeds on
Kamera-gestützte Feld- und Halbfreilandbonituren typi-                       arable land is required. If this information is known, it
scher Verunkrautungssituationen und Feldbefliegungen                         can be mapped in weed distribution maps and then serve
mit einem Multicopter genutzt, um die Position und die                       as a basis for the generation of application maps. A pro-
Bestandsdichten von Unkräutern und Kulturpflanzen zu                         cess chain that has been missing so far, starting with
bestimmen und zu kartieren. Die Segmentierung aller                          plant monitoring in the field, through methods for the
Aufnahmen erfolgte manuell mit einer eigenständig ent-                       automatic identification of individual plants and the gen-
wickelten Software zur Annotation von Bilddaten und                          eration of distribution maps, was run through for the first
nach dem Training von umfangreichen Datensätzen                              time in a first approach as part of the work package
automatisch mit Methoden des maschinellen (Bag-of-                           “Weed Identification and Mapping”. For this purpose, the
visual Words) und tiefen Lernens (Convolutional Neural                       AssSys project used manual camera-based field and
Networks). Es zeigte sich, dass die getesteten Algorith-                     semi-field sampling of typical weed situations and auto-
men für eine Vorhersage von ein- und zweikeimblättri-                        matic field aerial photographs with a multicopter to
gen Pflanzenarten geeignet sind. Die aus den Feldbonitu-                     determine and map the position and population densities
ren gewonnenen Daten wurden in Applikationskarten                            of weeds and crop plants. All images were segmented

 Affiliationen
 1 Julius Kühn-Institut (JKI) – Bundesforschungsinstitut für Kulturpflanzen, Institut für Pflanzenschutz in Ackerbau und Grün-
 land, Braunschweig
 2 KWS SAAT SE & Co. KGaA, Einbeck
 3 Leibniz-Institut für Agrartechnik und Bioökonomie e. V. (ATB), Potsdam

 Kontaktanschrift
 Christoph Kämpfer, Julius Kühn-Institut (JKI) – Bundesforschungsinstitut für Kulturpflanzen, Institut für Pflanzenschutz in
 Ackerbau und Grünland, Messeweg 11/12, 38104 Braunschweig, E-Mail: christoph.kaempfer@julius-kuehn.de
 Zur Veröffentlichung eingereicht/angenommen
 25. Februar 2021/19. April 2021
Unkrauterkennung und Kartierung zur automatischen Applikationskartenerstellung im Pflanzenschutz - weitere Zeitschriften des JKI
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04   Verlag Eugen Ulmer KG, Stuttgart

                    manually using an own developed software for annota-                                tet nur eine sehr grobe Auflösung. Alternativ ermöglicht
 Übersichtsarbeit

                    tion of image data and after training of large datasets                             der technische Fortschritt auf den Gebieten der Robotik
                    comparatively using methods of machine learning                                     und Informatik neue Möglichkeiten, die die Entwicklung
                    (Bag-of-visual Words) and deep learning (Convolutional                              von autonomen Flugsystemen und leistungsfähigen Bild-
                    Neural Networks). It was shown that the tested algo-                                verarbeitungsalgorithmen auch für die Landwirtschaft
                    rithms are suitable for predicting mono- and dicotyle-                              erschwinglich machen. Gleichzeitig wurde die Hardware
                    donous plant species. The data obtained from the field                              optischer Systeme signifikant weiterentwickelt, was
                    sampling were converted into application maps and used                              neben der sicheren Navigation von UAVs in geringer
                    by the project partners as part of their work packages to                           Flughöhe (5 m) die Voraussetzung für eine hohe photo-
                    carry out site-specific, selective weed control treatments                          grammetrische Abbildungsleistung schafft und letztend-
                    with a direct-injection system in practical field trials.                           lich die artspezifische Erfassung von Einzelpflanzen auf
                                                                                                        einer Kulturfläche potentiell ermöglicht (PFLANZ & NORD-
                    Key words: Weed detection, weed distribution maps,                                  MEYER, 2016).
                    site-specific crop protection, machine learning,                                       Für die Unkrauterkennung selbst werden zunehmend
                    artificial intelligence, image processing                                           Methoden des maschinellen Lernens adaptiert, die durch
                                                                                                        eine objektbasierte Klassifikation eindeutiger Merkmale
                                                                                                        bei der automatischen Bestimmung vieler Unkrautarten
                    Einleitung                                                                          bereits erste Fortschritte erzielen konnten (PFLANZ et al.,
                                                                                                        2018b). Diese Ansätze in der Bildanalyse berücksichtigen
122
                    Unkräuter zählen nach wie vor zu den wichtigsten                                    lokale, invariante Formenmerkmale in hochauflösenden
                    Schadorganismen im Ackerbau, was im Wesentlichen auf                                Bildaufnahmen, um Unkräuter, Kulturpflanzen und
                    eine starke Konkurrenzwirkung bezüglich Licht-, Wasser-                             Boden voneinander zu unterscheiden (DYRMANN et al.,
                    und Nährstoffaufnahme zurückzuführen ist (MILBERG &                                 2016)
                    HALLGREN, 2004). Unkräuter sind auf Anbauflächen in der                                Für die Überführung von wissenschaftlich erprobten
                    Regel nicht homogen verteilt, sondern vielmehr in Clus-                             Verfahren wurden im Rahmen des Projektes „AssSys“
                    tern oder Nestern, wodurch die Basis für ein teilflächen-                           Möglichkeiten der automatisierten Unkrauterkennung
                    spezifisches Unkrautmanagement geschaffen wird. Hier-                               evaluiert. Ziel war es, möglichst exakte Unkrautvertei-
                    bei kann die Applikation von Herbiziden hinsichtlich                                lungskarten zu generieren und als Applikationskarten in
                    Aufwandmenge und Herbizidwahl an die räumlich varia-                                das entwickelte Assistenzsystem zu integrieren. In Feld-
                    blen Unkrautsituationen landwirtschaftlicher Flächen                                versuchen wurde das System im Hinblick auf den Erfolg
                    angepasst und damit eine Reduzierung der Pflanzen-                                  der differenzierten Unkrautbekämpfung validiert. In die-
                    schutzintensität ermöglicht werden. Voraussetzung für                               sem Beitrag sollen insbesondere Ergebnisse der For-
                    ein teilflächenspezifisches Unkrautmanagement ist eine                              schungs- und Entwicklungsarbeiten im Bereich der opti-
                    exakte Erfassung der Unkrautdichte und -arten mit mög-                              schen Unkrauterfassung dargestellt werden.
                    lichst hoher räumlicher Auflösung (HÄUSLER & NORD-
                    MEYER, 1999; CHRISTENSEN et al., 2003; NORDMEYER, 2006;
                    LÓPEZ-GRANADOS, 2011). Derzeit werden im Wesentlichen                               Datenerhebung und Kartenerstellung
                    stichprobenartige Feldbegehungen begleitet von manuel-
                    len Unkrautbonituren durchgeführt. Eine umfassende                                  Feld- und Halbfreilandversuche
                    Unkrauterfassung über die gesamte Ackerfläche ist hier-                             Die Durchführung der Feldversuche erfolgte in den Jah-
                    bei meist nicht realisierbar. Eine höher aufgelöste Daten-                          ren 2017–2019 auf 4–7 ha großen Versuchsflächen des
                    gewinnung zur Unkrautverteilung könnte dagegen mit                                  Julius Kühn-Instituts und externer Landwirte in Nieder-
                    Hilfe optischer Sensoren im Online-Verfahren (mit                                   sachsen und Sachsen-Anhalt. Es wurden Ackerflächen in
                    Kameras an Schlepper oder Feldspritzgerät) bzw. durch                               verschiedenen Regionen mit unterschiedlichen klimati-
                    Bildaufnahmen autonom fliegender Sensorplattformen                                  schen Bedingungen und Bodenverhältnissen ausgewählt.
                    (UAV) im sogenannten Offline-Verfahren erreicht wer-                                Die Versuche wurden ausschließlich in Getreide (Winter-
                    den. Im Ergebnis beider Verfahren werden schlagspezifi-                             und Sommerweizen, Wintergerste) durchgeführt (WELL-
                    sche Unkrautverteilungskarten generiert, die die Grund-                             HAUSEN et al., 2019).
                    lage für Applikationskarten bilden und somit eine zielge-                             Zusätzlich zu den Feldversuchen wurden außerdem
                    naue Applikation von Herbiziden ermöglichen.                                        Halbfreilandversuche in sog. Betonparzellen zur Erstel-
                       Verfahren zur Vegetationsfernerkundung werden in                                 lung von Bildaufnahmen unter kontrollierten Bedingun-
                    der Landwirtschaft bereits seit mehreren Jahrzehnten                                gen durchgeführt. Dazu wurden einkeim- und zweikeim-
                    genutzt. In der Regel werden Satellitenbilder oder Auf-                             blättrige Unkräuter im Entwicklungsstadium BBCH 12 in
                    nahmen aus bemannten Befliegungen analysiert, um die                                unterschiedlichen Kombinationen und Dichten in einen
                    räumliche Variabilität einer landwirtschaftlichen Kultur-                           zuvor ausgesäten Weizenbestand pikiert. Im Anschluss
                    fläche zu identifizieren und Kulturmaßnahmen (z. B.                                 erfolgte die Bildaufnahme in einem eigens dafür konzi-
                    Düngung) teilflächenspezifisch anzupassen (DOBERS,                                  pierten Gestell, welches Aufnahmen in einer konstanten
                    2002; KLUGE & NORDMEYER, 2012). Die zeitliche Verfüg-                               Höhe und unter gleichbleibenden Lichtbedingungen
                    barkeit von Satellitenbildern ist jedoch begrenzt und bie-                          ermöglichte (PFLANZ et al., 2018a). Die Bildaufnahmen

                                                                                                                                               Journal für Kulturpflanzen 73. 2021
Unkrauterkennung und Kartierung zur automatischen Applikationskartenerstellung im Pflanzenschutz - weitere Zeitschriften des JKI
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04   Verlag Eugen Ulmer KG, Stuttgart

wurden in regelmäßigen Abständen zwei Mal wöchent-

                                                                                                                                                                 Übersichtsarbeit
lich durchgeführt, um die Entwicklung der Kulturpflan-
zen und Unkräuter abzubilden (Abb. 1).

Manuelle Unkrautbonituren
Mit Hilfe eines modifizierten Göttinger Zähl- und Schätz-
rahmens wurden auf jeweils 0,1 m2 großen Flächenseg-
menten und in einem Raster von 12 × 12 bzw. 24 × 24 m
die vorhandenen Unkräuter vor dem Beginn der Herbizid-
applikation auf den Versuchsflächen des JKIs und betei-
ligter Partner bonitiert. Hierzu wurden an jedem Boni-
turpunkt georeferenzierte Bildaufnahmen mit einer
RGB-Kompaktkamera (Alpha 6000, Sony) erstellt, die in
einer fixierten Höhe von 45 cm am modifizierten Zähl-
rahmen befestigt war (Abb. 2). Die Brennweite der
Kamera war ebenfalls fest eingestellt, sodass die Bildauf-
nahmen einen vergleichbar großen Flächenausschnitt
aller Boniturpunkte zeigten. Die Belichtungszeit der Bil-
der wurde bei vorgegebener Blendenöffnung durch die
                                                                                                                                                                   123
Kameraautomatik errechnet (WELLHAUSEN et al., 2020).
Die Boniturergebnisse wurden direkt über eine App in
Echtzeit erfasst und automatisch mit einer GPS-Koordina-
te versehen. Somit standen die Boniturdaten sofort in di-
gitaler Form über das AssSys – WebPortal zur Verfügung
                                                                                Abb. 2. Modifizierter Göttinger Zähl- und Schätzrahmen mit fest
UAV-Befliegung, photometrische Aufnahmen und                                    montierter Kamera zur Bilderfassung und einem Tablet zur Erfassung
                                                                                der GPS-Koordinaten und Unkraut-Boniturdaten.
Kartenerstellung
Die Klassifikation unterschiedlicher Arten durch die
Vegetationserkundung wurde durch hochauflösende
Luftbildaufnahmen und merkmalsextrahierende Bildver-                            RGB-Kompaktkamera (NEX 5N, Sony und Alpha 6000)
arbeitung erreicht. Es erfolgte eine Befliegung mit einem                       Bilder an den Boniturpunkten in einer Flughöhe von 5 m
Multicopter (Oktopus, CiS GmbH), bei der mit einer                              erstellt wurden.

            ALOMY         APESV              GALAP              MATCH             TRZAW              VERHE              VIOAR             SOIL
   19.10.
   29.10.
   12.11.
   28.11.

Abb. 1. Beispiele der regelmäßigen Bildaufnahmen einkeim- und zweikeimblättriger Unkrautpflanzen und Weizen des Halbfreilandversuchs
(dargestellt sind 4 von insgesamt 12 Aufnahmeterminen). Zusätzlich dargestellt sind Aufnahmen der Kategorie Boden (SOIL), die im Aufnahme-
zeitraum keine signifikanten Veränderungen der oberflächlichen Bodenstruktur zeigten. ALOMY, Alopecurus myosuroides; APESV, Apera spi-
ca-venti; GALAP, Galium aparine; MATCH, Matricaria recutita; TRZAW, Triticum aestivum; VERHE, Veronica hederifolia; VIAOR; Viola arvensis

Journal für Kulturpflanzen 73. 2021
Unkrauterkennung und Kartierung zur automatischen Applikationskartenerstellung im Pflanzenschutz - weitere Zeitschriften des JKI
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04   Verlag Eugen Ulmer KG, Stuttgart

                      Aus den manuellen Bonituren wurden im Anschluss                                   datensatzes, also der Menge trainierter Bilder und der
 Übersichtsarbeit

                    Unkrautverteilungskarten mittels der Software Surfer                                daraus extrahierten Objektmerkmale, abhängig. Wäh-
                    (Golden Software, LLC.) bzw. ArcMap (ArcGIS, esri Inc.)                             rend bei klassischen Methoden des maschinellen Lernens
                    oder QGIS generiert. Diese schlagspezifischen, georefe-                             wie z. B. der Erkennung mit Hilfe des Bag-of-visual-
                    renzierten Unkrautkarten dienten als Grundlage für die                              Words-Ansatzes (BoVW), bereits mit wenigen tausend
                    Erstellung von Applikationskarten für die Feldversuche                              trainierten Bildern vergleichsweise hohe Erkennungsra-
                    zur Unkrautbekämpfung.                                                              ten erreicht werden können, tritt ein robuster Lerneffekt
                                                                                                        bei den derzeit vielfach verwendeten Convolutional Neu-
                    Teilflächenspezifische Unkrautkontrolle                                             ral Networks (CNNs) erst bei größeren Bilddatensätzen
                    Auf Basis der jeweiligen Unkrautart und -dichte und den                             je Kategorie ein (KRIZHEVSKY et al., 2017).
                    artspezifischen Schadschwellen wurden auf den Flächen                                  Aus diesem Grund wurden Bilder von typischen
                    Bereiche definiert, in denen eine Anwendung unter-                                  Unkrautsituationen auf den Versuchsfeldern aufgenom-
                    schiedlicher Herbizide mit einer Direkteinspeisungs-                                men und anschließend manuell am PC annotiert. In der
                    spritze (Herbert Dammann GmbH) oder aber keine                                      hierfür am Institut für Pflanzenschutz in Ackerbau und
                    Anwendung von Herbiziden erfolgte. Die Wirksamkeit                                  Grünland des JKI entwickelten Software (ImageObject-
                    dieser durchgeführten teilflächenspezifischen Unkraut-                              Locator Version 0.38) können Einzelpflanzen artspezi-
                    bekämpfungsmaßnahmen wurde anschließend kontrol-                                    fisch durch gezielte Platzierung von Markierungen iden-
                    liert und bonitiert. Hierzu wurde 4 bis 6 Wochen nach                               tifiziert und pixelbasiert verortet werden (Abb. 3). Auf
                    der Applikation ebenfalls durch manuelle Bonitur die                                Basis der Pflanzenposition erfolgte anschließend eine
124
                    Verunkrautung mit einem Göttinger Zahl- und Schätz-                                 Segmentierung der Gesamtaufnahme in 200 × 200 Pixel
                    rahmen erfasst (POHL et al., 2020).                                                 große Bildausschnitte der einzelnen Unkrautpflanzen
                                                                                                        (Abb. 4). Die so erzeugten Bilddaten von vereinzelten
                    Auswertung der manuellen Bildaufnahmen                                              Unkräutern bilden den Trainingsdatensatz und umfass-
                    Die Klassifizierungsleistung von neuronalen Netzwerk-                               ten die Unkrautarten Alopecurus myosuroides (ALOMY),
                    strukturen ist sehr stark von der Größe des Trainings-                              Matricaria spp. (MATSS), Veronica spp. (VERSS) und

                    Abb. 3.    ImageObjectLocator Version 0.38. Benutzeroberfläche mit annotierten Unkrautpflanzen.

                                                                                                                                               Journal für Kulturpflanzen 73. 2021
Unkrauterkennung und Kartierung zur automatischen Applikationskartenerstellung im Pflanzenschutz - weitere Zeitschriften des JKI
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04   Verlag Eugen Ulmer KG, Stuttgart

                                                                                                                                                                 Übersichtsarbeit
                                                                                                                                                                   125

                                                                                                                          Abb. 4. Annotierter Bilddaten-
                                                                                                                          satz (Auswahl) verschiedener
                                                                                                                          Verunkrautungssituationen für
                                                                                                                          die CNN-Klassifikation. Trainiert
                                                                                                                          wurden die Klassen (A) ALOMY, (B)
                                                                                                                          MATSS, (C) SOIL, (D) TRZAW, (E)
                                                                                                                          VERSS und (F) VIOAR.

Viola arvensis (VIOAR) sowie Winterweizen (TRZAW)                               rende Beleuchtungssituationen ausgeglichen werden.
und die Hintergrundklasse Boden (SOIL).                                         Signifikante Strukturen eines Bildes werden mit Längen-
                                                                                und Richtungsvektoren beschrieben, die in einer 4x4-
Convolutional Neural Networks (CNN) zur automa-                                 Matrix gespeichert sind.
tischen Unkrauterkennung                                                          Hier wird deutlich, dass je nach Pflanzenart und ver-
Eines der Ziele dieser Studie war es, die Eignung von                           wendetem Feature-Extraktor teils sehr viele beschrei-
deep-learning-Algorithmen unter Verwendung von                                  bende Attribute (features) in den Bildern gefunden wer-
CNNs den bisher verwendeten klassischen Ansätzen von                            den. Dies ist für Feldaufnahmen relativ typisch. In der
maschinellem Lernen auf Basis des Bag-of-visual-Words                           Folge müssen Netzwerkstrukturen trainiert werden, die
(BoVW) gegenüberzustellen (PFLANZ et al., 2018a). In                            auch bei einer sehr großen Anzahl an Merkmalen auf ein-
Abb. 5 sind beispielhaft einige Bilder (samples) für                            deutige Muster verallgemeinern können, was bei Vorher-
bedeutende Unkrautarten und die häufig vorkommende                              sagen mit dem Ansatz der Bag-of-Words in der Regel nur
Hintergrundklasse Boden (SOIL) dargestellt. Für die                             bei wenigen zu unterscheidenden Klassen zuverlässig ist.
Detektion und Beschreibung lokaler Bildmerkmale mit                               Bei CNN-trainierten Modellen werden die verschiede-
Hilfe des BoVW-Ansatzes wurde zunächst ein Algorith-                            nen Merkmalsextraktoren (hier als Filter bezeichnet)
mus verwendet, der eine skaleninvariante Merkmals-                              dagegen in verschiedenen Schichten, den Convolution
transformation ermöglicht (engl. Scale-invariant feature                        Layer abgebildet, wodurch eindeutige Muster auch in
transform – SIFT). Dies ist erforderlich, da die Orien-                         einer großen Menge von Features erkannt werden kön-
tierung und Größe der gesuchten Unkrautpflanzen im                              nen. Für die vorliegenden Bilddatensätze der Kategorien
Bild sehr unterschiedlich sein kann. SIFT-Deskriptoren                          ALOMY, MATSS, VERSS, VIOAR und TRZAW, sowie für
sind weitestgehend invariant gegenüber Koordinaten-                             die Hintergrundkategorie SOIL wurden Standard-CNNs
transformationen wie Translation, Rotation und Skalie-                          mit sechs Ebenen (Conv2D-Layer: 32, 32, 64, 128, 256,
rung. In begrenztem Umfang können durch SIFT-Trans-                             16) in 15 Epochen mit einer BatchSize von 8 trainiert.
formationen auch Effekte wie Bildrauschen oder variie-                          Dies erfolgte mit Hilfe der deep learning-Bibliothek Keras

Journal für Kulturpflanzen 73. 2021
Unkrauterkennung und Kartierung zur automatischen Applikationskartenerstellung im Pflanzenschutz - weitere Zeitschriften des JKI
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04    Verlag Eugen Ulmer KG, Stuttgart
 Übersichtsarbeit

126
                                                                                                                                                 Abb. 5. Lage gefundener Key-
                                                                                                                                                 points (gelb) und ihrer SIFT-De-
                                                                                                                                                 skriptoren (grün dargestellt als
                                                                                                                                                 4x4 Geometrie mit Orientie-
                                                                                                                                                 rung). Zur besseren Anschauung
                                                                                                                                                 wurden nur 10 zufällig ausge-
                                                                                                                                                 wählte SIFT-Deskriptoren pro
                                                                                                                                                 Bildklasse eingezeichnet. A)
                                                                                                                                                 MATCH, B) VIOAR C), VERHE D)
                                                                                                                                                 SOIL.

                    (Version 2.2.4) und des Lernframeworks TensorFlow                                   Ausgewählte Projektergebnisse und Diskussion
                    (Version 2.0) unter Python 3.7 (CHOLLET, 2015). Die
                    Generierung der Modelle war auf einer Xeon E5-Work-                                 Feld- und Halbfreilandversuche
                    station mit einer Quadro P4000-Grafikkarte nach etwa                                Eine erste Validierung der BoVW-Modelle auf einem Test-
                    fünf Stunden abgeschlossen. Das CNN-Vorhersagemodell                                datensatz von zufälligen Einzelbildern aus den Betonpar-
                    des Trainingsdatensatzes wurde auf einem unabhängi-                                 zellen ergab eine Gesamtgenauigkeit von 82,2 %
                    gen Testdatensatz validiert.                                                        (Tab. 1). Für die zweikeimblättrigen Unkrautarten Gali-

                    Tab. 1. Konfusionsmatrix der BoVW-Vorhersage für das Image TestSet. ALOMY, Alopecurus myosuroides; APESV, Apera spi-
                    ca-venti; GALAP, Galium aparine; MATCH, Matricaria recutita; SOIL, Hintergrund; TRZAW, Triticum aestivum; VERHE, Veronica hed-
                    erifolia; VIAOR; Viola arvensis

                                        ALOMY            APESV           GALAP           MATCH             SOIL              TRZAW         VERHE          VIOAR         Recall

                    ALOMY                48              23                3               1              34                   4            0               0            0,42
                    APESV                24              62                0               3               9                   9            0               1            0,57
                    GALAP                 1               1               61               3               0                   2            2               2            0,85
                    MATCH                 1               1                0              59               6                   0            0               0            0,88
                    SOIL                  0               0                0               0             184                   0            0               0            1,00
                    TRZAW                 2               2                0               0               0                 126            0               0            0,97
                    VERHE                 1               0                0               0               0                   0           81               4            0,94
                    VIOAR                 0               1                5               0               2                   0            2              66            0,87
                    Precision             0,62            0,69             0,88            0,89            0,78                0,89         0,95            0,90        82,18

                                                                                                                                                Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04   Verlag Eugen Ulmer KG, Stuttgart

um aparine (GALAP), Matricaria recutita (MATCH),                                genauigkeit nahm ab, wenn das Entwicklungsstadium

                                                                                                                                                                 Übersichtsarbeit
Veronica hederifolia (VERHE) und Viola arvensis (VIAOR)                         der Pflanzen entweder zu klein oder zu groß war.
lag der Anteil an richtig vorhergesagten Ergebnissen                               Demgegenüber zeigt die Validierung der CNN-trainier-
bezogen auf die Gesamtheit aller als positiv vorhergesag-                       ten Modelle auf dem identischen Bilddatensatz eine
ten Ergebnisse (Precision) über 88 %. Die Trefferquote                          Gesamtgenauigkeit von 95,10 % und liegt damit um etwa
(Recall), also der Anteil korrekt als positiv klassifizierter                   13 % über dem Ergebnis der BoVW-Klassifizierung. Wäh-
Ergebnisse bezogen auf die Gesamtheit tatsächlich posi-                         rend mit den extrahierten signifikanten Merkmalen der
tiver Ergebnisse, lag in den gleichen Kategorien bei über                       zweikeimblättrigen Unkrautarten mit beiden Lernverfah-
85 %. Bei den einkeimblättrigen Unkrautarten wurde                              ren Klassifizierungsgenauigkeiten von mehr als 88 % er-
eine Genauigkeit von 62 % (Alopecurus myosuroides,                              reicht werden konnten, war Erkennungsgenauigkeit des
ALOMY) und 69 % (Apera spica-venti, APESV) erreicht,                            verwendeten CNN-Modells bei einkeimblättrigen Un-
wohingegen die Trefferquote nur bei 42 bzw. 57 % lag.                           krautarten sehr viel größer als die der BoVW-Modelle. So
Auffällig sind die erzielten Ergebnisse für die Kategorie                       konnten mit dem CNN-Modell auch einkeimblättrige Un-
SOIL. Hier lag die Trefferquote der Vorhersage zwar bei                         krautarten wie ALOMY und APESV mit einer Genauigkeit
100 %, die Genauigkeit allerdings nur bei 78 %.                                 von mehr als 84 % und mit einer Trefferquote von mehr
   Darüber hinaus konnte festgestellt werden, dass die                          als 86 % bestimmt werden. Die Trefferquote für die Kate-
Vorhersagegenauigkeit der BoVW-Modelle eine Abhän-                              gorie SOIL lag unverändert bei 100 %, während für die
gigkeit vom Entwicklungsstadium der trainierten Un-                             Genauigkeit im Vergleich zur Validierung der BoVW-Mo-
kräuter und des Weizens zeigt (Abb. 6). Die Vorhersage-                         delle hier Werte von 98 % erreicht wurden (Tab. 2). Zwar
                                                                                                                                                                   127

Abb. 6. Abhängigkeit der Vorhersagegenauigkeit sowie der Trefferquote der BoVW-trainierten Modelle vom Entwicklungsstadium von (A) ein-
keimblättrigen Unkräutern und Weizen sowie (B) zweikeimblättrigen Unkräutern. ALOMY, Alopecurus myosuroides; APESV, Apera spica-venti;
TRZAW, Triticum aestivum; GALAP, Galium aparine; VERHE, Veronica hederifolia; MATCH, Matricaria recutita

Tab. 2. Konfusionsmatrix der CNN-Vorhersage für das Image TestSet. ALOMY, Alopecurus myosuroides; APESV, Apera spica-ven-
ti; GALAP, Galium aparine; MATCH, Matricaria recutita; SOIL, Hintergrund; TRZAW, Triticum aestivum; VERHE, Veronica hederifolia;
VIAOR; Viola arvensis

                 ALOMY           APESV           GALAP           MATCH             SOIL           TRZAW            VERHE           VIOAR          Recall

ALOMY             98              10               0                0              3                2                0               0              0,87
APESV             13              93               0                0              1                1                0               0              0,86
GALAP              0               0              71                1              0                0                0               0              0,99
MATCH              2               0               0               65              0                0                0               0              0,97
SOIL               0               0               0                0            184                0                0               0              1,00
TRZAW              2               0               0                0              0              128                0               0              0,98
VERHE              1               0               1                0              0                0               83               1              0,97
VIOAR              0               0               1                0              0                0                2              73              0,96
Precision          0,84            0,90            0,97             0,98           0,98             0,98             0,98            0,99          95,10

Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04   Verlag Eugen Ulmer KG, Stuttgart

                    wurden keine vergleichenden Berechnungen ohne die                                   Für die Erprobung eines automatisierten Verfahrens zur
 Übersichtsarbeit

                    Kategorie SOIL durchgeführt, es sollte aber dennoch                                 Unkrauterkennung wurden die während der manuellen
                    davon auszugehen sein, dass das Trainieren von Merk-                                Bonitur aus geringer Höhe erstellten Bildaufnahmen
                    malen des Bildhintergrundes dazu beigetragen hat, die                               genutzt. Die zuvor trainierten deep learning-Algorith-
                    Gesamterkennungsleistung beider Lernverfahren zu                                    men wurden auf diese Bildaufnahmen angewendet und
                    erhöhen.                                                                            basierend auf dieser automatischen Unkrauterkennung
                      Wie bei der Vorhersage mit BoVW-Modellen ergab sich                               Vorhersagekarten erstellt. Die in Abb. 8 dargestellten
                    auch bei der Erkennung von Unkrautarten mit CNN-Mo-                                 Vorhersagekarten für zwei der Versuchsflächen zeigen,
                    dellen eine Abhängigkeit vom Entwicklungsstadium der                                dass sich die getesteten Algorithmen grundsätzlich für
                    Pflanzen (Abb. 6). Diese Abhängigkeit ist bei der Vorher-                           eine Vorhersage der richtigen Pflanzenart- bzw. Boden-
                    sage durch das trainierte CNN und insbesondere bei den                              kategorie eignen. Die Flächenanteile für MATSS und
                    zweikeimblättrigen Unkrautarten wesentlich geringer als                             VIOAR wurden richtig geschätzt, jedoch wurde bei einem
                    bei der Verwendung der BoVW-Modelle. Für die einkeim-                               geringen Anteil ALOMY der Anteil durch die Modelle
                    blättrigen Unkrautarten ALOMY und APESV lag die                                     deutlich überschätzt. Dies tritt besonders bei der
                    Erkennungsgenauigkeit bei etwa 60 % bzw. 80 % und                                   Betrachtung der Feldrandbereiche auf.
                    veränderte sich im beobachteten Entwicklungszeitraum                                   Um aus den Vorhersagekarten der Aufnahmen der ein-
                    nur unwesentlich (Abb. 7). Die ebenfalls einkeimblättri-                            zelnen Boniturpunkte ganzflächige Unkrautverteilungs-
                    gen Weizenpflanzen waren jedoch besonders zu Beginn                                 karten zu erstellen, ist neben der Interpolation zwischen
                    der Messungen nicht von ALOMY und APESV zu unter-                                   den Punkten auch eine Umrechnung der vom Modell
128
                    scheiden. Erst nach zwei Wochen konnten Weizenpflan-                                geschätzten Flächenanteile (Pixel) zu der Anzahl einzel-
                    zen korrekt identifiziert werden. Bei der Erkennung der                             ner Unkrautpflanzen je m2 notwendig. Nur so lassen sich
                    zweikeimblättrigen Arten GALAP, VERHE und MATCH                                     die Ergebnisse mit bestehenden Schadschwellenkonzep-
                    lag die Erkennungsgenauigkeit gleich zu Beginn der Mes-                             ten bearbeiten. Da die hier verwendeten Bildaufnahmen
                    sungen bei mehr als 98 % und sank auch bis zum Ende                                 zudem nur einen geringen Flächenausschnitt widerspie-
                    der vierwöchigen Versuchsreihe nicht auf Werte unter                                geln, erfolgte als nächster Schritt eine Anwendung der
                    80 % ab.                                                                            deep-learning-Algorithmen auf den ebenfalls erstellten
                                                                                                        UAV-gestützten Luftbildaufnahmen (Abb. 9).
                    Automatische Erstellung von Unkrautverteilungs-                                        Aus den Daten geht hervor, dass die automatische Luft-
                    und Applikationsdaten                                                               bildauswertung in weiten Teilen ähnliche Ergebnisse lie-
                    Im Rahmen des Projektes AssSys wurden die Unkrautver-                               ferte wie die manuelle Bonitur. Eine Verbesserung des
                    teilungskarten und die darauf aufbauenden Applikati-                                Systems kann also dazu beitragen, die Erhebung von Un-
                    onsdaten auf Basis der manuellen Boniturdaten erstellt                              krautdichten auf der Ackerfläche erheblich zu beschleu-
                    (WELLHAUSEN et al., 2019, 2020). Da die manuelle Bonitur                            nigen.
                    von ausreichenden Boniturpunkten aber sehr arbeits-                                    Die in diesem Teilprojekt generierten Ergebnisse wur-
                    und kostenintensiv ist, sollten hier zukünftig automa-                              den vom JKI-Institut für Anwendungstechnik im Pflan-
                    tische Verfahren z. B. via UAV-Befliegung und automa-                               zenschutz und dem Partner GID (GeoInformationsdienst
                    tischer Unkrauterkennung genutzt werden, um die Un-                                 GmbH) weiterverarbeitet und in das Assistenzsystem ein-
                    krautverteilung mit ausreichender Präzision zu erfassen.                            gebunden.

                    Abb. 7. Abhängigkeit der Vorhersagegenauigkeit sowie der Trefferquote CNN-trainierter Modelle vom Entwicklungsstadium von (A) einkeim-
                    blättrigen Unkräutern und Weizen sowie (B) zweikeimblättrigen Unkräutern. ALOMY, Alopecurus myosuroides; APESV, Apera spica-venti; TRZAW,
                    Triticum aestivum; GALAP, Galium aparine; VERHE, Veronica hederifolia; MATCH, Matricaria recutita

                                                                                                                                               Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04   Verlag Eugen Ulmer KG, Stuttgart

                                                                                                                                                                 Übersichtsarbeit
                                                                                                                                                                   129
Abb. 8. Unkrautklassifizierungsergebnisse der deep learning Algorithmen auf Aufnahmen aus 45 cm Höhe (Zählrahmen) mit (A) hohem An-
teil ALOMY und (B) geringem Anteil ALOMY (Wellhausen et al., 2020). VIAOR; Viola arvensis; VERSS, Veronica-Arten; TRZAW, Triticum aestivum;
SOIL, Hintergrund; MATSS, Kamille-Arten; ALOMY, Alopecurus myosuroides.

Abb. 9. Exemplarischer Vergleich von Verteilungskarten (MATSS und VIOAR) bei manueller Bonitur und Luftbildauswertung (Wellhausen et
al., 2020).

Ausblick                                                                        Auch für das Unkrautmanagement stellen sie eine heute
                                                                                interessante Alternative zu bisherigen Erfassungsmetho-
 Der hier gewählte Ansatz ermöglicht grundsätzlich die                          den dar. Für den Praxiseinsatz sind jedoch insbesondere
Unterscheidung von Unkrautarten auf Ackerflächen. Um                            bei der Flächenleistung und der automatischen Bilder-
eine praxisrelevante Unkrauterkennung umzusetzen,                               kennung noch weitere Verbesserungen notwendig.
muss der Ansatz mithilfe von weiteren Luftbildaufnah-                             Weitere Schritte werden die Validierung der BoVW-
men unter Feldbedingungen evaluiert werden, damit die                           Modelle auf im Feld gesammelte Bildern beinhalten. Mit
natürliche Variabilität auf ackerbaulich genutzten Flä-                         Daten von verschiedenen Feldern und damit verschiede-
chen besser abgebildet werden kann. Flugroboter wer-                            nen Unkrautarten kann der Kalibrierungsdatensatz
den in der Landwirtschaft bereits vielfältig eingesetzt.                        erweitert werden, so dass eine größere Anzahl von

Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04   Verlag Eugen Ulmer KG, Stuttgart

                    Unkrautarten erkannt wird. Die klassifizierten Bilder                               HÄUSLER, A., H. NORDMEYER, 1999: Characterizing spatial and tem-
                                                                                                          poral dynamics of weed seedling populations. Precision agricul-
 Übersichtsarbeit

                    werden anschließend zur Erstellung von Unkrautvertei-
                                                                                                          ture '99, Part 1 and Part 2. Papers presented at the 2nd European
                    lungskarten verwendet.                                                                Conference on Precision Agriculture, Odense, Denmark, 11-15
                      Künstliche Neuronale Netze und KI werden sich in den                                July 1999, 463-472.
                                                                                                        KLUGE, A., H. NORDMEYER, 2012: Verfahren der Bildanalyse zur
                    kommenden Jahren weiterentwickeln, weshalb davon                                      Unkrauterkennung in Getreide: Procedures of image analysis for
                    ausgegangen werden kann, dass sich das Fachgebiet Bild-                               weed recognition in cereals. Julius-Kühn-Archiv (434), 235–242,
                    und speziell Unkrauterkennung schnell weiterentwickeln                                DOI: 10.5073/jka.2012.434.000.
                                                                                                        KRIZHEVSKY, A., I. SUTSKEVER, G.E. HINTON, 2017: ImageNet classifica-
                    wird. Dafür spricht ebenfalls, dass zunehmend Bildda-                                 tion with deep convolutional neural networks. Communications
                    tensätze veröffentlicht werden, die es in ihrer Gesamtheit                            of the ACM 60 (6), 84–90, DOI: 10.1145/3065386.
                                                                                                        LÓPEZ-GRANADOS, F., 2011: Weed detection for site-specific weed ma-
                    erlauben größere Trainingsdatensätze zu nutzen und                                    nagement: mapping and real-time approaches. Weed Research 51
                    eigene Datensätze zu verfeinern. Dies wird mittelfristig                              (1), 1-11.
                                                                                                        MILBERG, P., E. HALLGREN, 2004: Yield loss due to weeds in cereals and
                    zu einer weiteren Leistungssteigerung in der Unkrauter-                               its large-scale variability in Sweden. Field Crops Research 86
                    kennung führen.                                                                       (2-3), 199–209, DOI: 10.1016/j.fcr.2003.08.006.
                                                                                                        NORDMEYER, H., 2006: Patchy weed distribution and site-specific
                                                                                                          weed control in winter cereals. Precision Agriculture 7 (3), 219–
                                                                                                          231, DOI: 10.1007/s11119-006-9015-8.
                    Danksagung                                                                          PFLANZ, M., H. NORDMEYER, 2016: Automatisierte Unkrauterkennung
                                                                                                          auf dem Acker – Möglichkeiten und Grenzen. Julius-Kühn-Archiv
                                                                                                          (452), 241, DOI: 10.5073/jka.2016.452.033.
                    Die Förderung des Vorhabens erfolgt (bzw. erfolgte) aus                             PFLANZ, M., H. NORDMEYER, M. SCHIRRMANN, 2018a: Weed Mapping
                    Mitteln des Bundesministeriums für Ernährung und                                      with UAS Imagery and a Bag of Visual Words Based Image Clas-
130                                                                                                       sifier. Remote Sensing 10 (10), 1530, DOI: 10.3390/rs10101530.
                    Landwirtschaft (BMEL) aufgrund eines Beschlusses des                                PFLANZ, M., M. SCHIRRMANN, H. NORDMEYER, 2018b: Räumlich hoch-
                    Deutschen Bundestages. Die Projektträgerschaft erfolgt                                auflösende Unkrauterkennung mittels Flugroboter und merk-
                                                                                                          malsextrahierender Bildverarbeitung. Julius-Kühn-Archiv 458,
                    (bzw. erfolgte) über die Bundesanstalt für Landwirt-                                  379–384, DOI: 10.5073/JKA.2018.458.056.
                    schaft und Ernährung (BLE) im Rahmen des Programms                                  POHL, J.P., D. VON HÖRSTEN, J.K. WEGENER, B. GOLLA, I. KARPINSKI, S.
                    zur Innovationsförderung.                                                             RAJMIS, C. SINN, H. NORDMEYER, C. WELLHAUSEN, B. KLEINHENZ, M.
                                                                                                          HERRMANN, H. DUNEKACKE, A. MATTHIESEN, F. VON BARGEN, D. JAHN-
                                                                                                          CKE, D. FEISE, M. RÖHRIG, R. SANDER, 2020: Assistance system for
                                                                                                          the site-specific use of herbicides. Julius-Kühn-Archiv (464), 216–
                                                                                                          221, DOI: 10.5073/jka.2020.464.033.
                    Interessenskonflikte                                                                WELLHAUSEN, C., M. PFLANZ, J.-P. POHL, H. NORDMEYER, 2019: Auto-
                                                                                                          matic weed recognition for site-specific herbicide application. The
                                                                                                          12th European Conference on Precision Agriculture: 8-11 July
                    Die Autoren erklären, dass keine Interessenskonflikte                                 2019, Montpellier, France; Book of abstracts of all the Posters,
                    vorliegen.                                                                            196-197.
                                                                                                        WELLHAUSEN, C., M. PFLANZ, J.-P. POHL, H. NORDMEYER, 2020: Gene-
                                                                                                          rierung von Unkrautverteilungskarten auf der Basis automati-
                                                                                                          scher Annotierungen in Feldaufnahmen. Julius-Kühn-Archiv
                    Literatur                                                                             (464), 222, DOI: 10.5073/jka.2020.464.034.

                    CHOLLET, F., 2015: keras. Zugriff: 7. Januar 2021, URL: https://github.
                      com/fchollet/keras.                                                               © Der Autor/Die Autorin 2021.
                    CHRISTENSEN, S., T. HEISEL, A.M. WALTER, E. GRAGLIA, 2003: A decision                              Dies ist ein Open-Access-Artikel, der unter den Bedin-
                      algorithm for patch spraying. Weed Research 43 (4), 276–284,                      gungen der Creative Commons Namensnennung 4.0 International
                      DOI: 10.1046/j.1365-3180.2003.00344.x.                                            Lizenz (CC BY 4.0) zur Verfügung gestellt wird
                    DOBERS, E.S., 2002: Methoden der Standorterkundung als Grund-                       (https://creativecommons.org/licenses/by/4.0/deed.de).
                      lage des DGPS-gestützten Ackerbaus eine Fallstudie aus dem Löss-
                      gebiet des Mittleren Fläming. Dissertation, Universität Göttingen
                      - Inst. für Bodenwiss.                                                            © The Author(s) 2021.
                    DYRMANN, M., H. KARSTOFT, H.S. MIDTIBY, 2016: Plant species classi-                                 This is an Open Access article distributed under the
                      fication using deep convolutional neural network. Biosystems                      terms of the Creative Commons Attribution 4.0 International License
                      Engineering 151, 72-80.                                                           (https://creativecommons.org/licenses/by/4.0/deed.en).

                                                                                                                                               Journal für Kulturpflanzen 73. 2021
Sie können auch lesen