Unkrauterkennung und Kartierung zur automatischen Applikationskartenerstellung im Pflanzenschutz - weitere Zeitschriften des JKI
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart
Übersichtsarbeit
Christoph Kämpfer1, Lena Ulber1, Christina Wellhausen2, Michael Pflanz1,3
Unkrauterkennung und Kartierung zur automatischen
Applikationskartenerstellung im Pflanzenschutz
Weed detection and mapping for automatic
application map generation in crop protection
121
Zusammenfassung überführt und von den Partnern des Projektes genutzt,
um in praxisnahen Feldversuchen teilflächenspezifische,
Für eine künftig umweltverträgliche und teilflächen- selektive Unkrautbekämpfungsmaßnahmen mit einem
spezifische Anwendung von Herbiziden ist eine genaue Direkteinspeisungssystem durchzuführen.
Kenntnis über die Zusammensetzung und die räumliche
Verteilung von Nutzpflanzen und Unkräutern auf Acker- Stichwörter: Unkrauterkennung, Unkrautverteilungs-
flächen erforderlich. Sind diese Informationen bekannt, karten, teilflächenspezifischer Pflanzenschutz,
können sie in Unkrautverteilungskarten abgebildet wer- maschinelles Lernen, künstliche Intelligenz,
den und dienen dann als Basis für die Erstellung von Bildverarbeitung
Applikationskarten. Eine bislang fehlende Prozesskette
beginnend beim Pflanzenmonitoring auf dem Acker,
über Methoden zur automatischen Identifizierung von Abstract
Einzelpflanzen und der Generierung von Verteilungskar-
ten wurden erstmals durchlaufen. Hierzu wurden im Pro- For environmental and site-specific application of herbi-
jekt „Assistenzsystem zur teilflächenspezifischen Appli- cides in the coming future, precise knowledge of the
kation von Pflanzenschutzmitteln (AssSys)“ manuelle structure and spatial distribution of crops and weeds on
Kamera-gestützte Feld- und Halbfreilandbonituren typi- arable land is required. If this information is known, it
scher Verunkrautungssituationen und Feldbefliegungen can be mapped in weed distribution maps and then serve
mit einem Multicopter genutzt, um die Position und die as a basis for the generation of application maps. A pro-
Bestandsdichten von Unkräutern und Kulturpflanzen zu cess chain that has been missing so far, starting with
bestimmen und zu kartieren. Die Segmentierung aller plant monitoring in the field, through methods for the
Aufnahmen erfolgte manuell mit einer eigenständig ent- automatic identification of individual plants and the gen-
wickelten Software zur Annotation von Bilddaten und eration of distribution maps, was run through for the first
nach dem Training von umfangreichen Datensätzen time in a first approach as part of the work package
automatisch mit Methoden des maschinellen (Bag-of- “Weed Identification and Mapping”. For this purpose, the
visual Words) und tiefen Lernens (Convolutional Neural AssSys project used manual camera-based field and
Networks). Es zeigte sich, dass die getesteten Algorith- semi-field sampling of typical weed situations and auto-
men für eine Vorhersage von ein- und zweikeimblättri- matic field aerial photographs with a multicopter to
gen Pflanzenarten geeignet sind. Die aus den Feldbonitu- determine and map the position and population densities
ren gewonnenen Daten wurden in Applikationskarten of weeds and crop plants. All images were segmented
Affiliationen
1 Julius Kühn-Institut (JKI) – Bundesforschungsinstitut für Kulturpflanzen, Institut für Pflanzenschutz in Ackerbau und Grün-
land, Braunschweig
2 KWS SAAT SE & Co. KGaA, Einbeck
3 Leibniz-Institut für Agrartechnik und Bioökonomie e. V. (ATB), Potsdam
Kontaktanschrift
Christoph Kämpfer, Julius Kühn-Institut (JKI) – Bundesforschungsinstitut für Kulturpflanzen, Institut für Pflanzenschutz in
Ackerbau und Grünland, Messeweg 11/12, 38104 Braunschweig, E-Mail: christoph.kaempfer@julius-kuehn.de
Zur Veröffentlichung eingereicht/angenommen
25. Februar 2021/19. April 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart
manually using an own developed software for annota- tet nur eine sehr grobe Auflösung. Alternativ ermöglicht
Übersichtsarbeit
tion of image data and after training of large datasets der technische Fortschritt auf den Gebieten der Robotik
comparatively using methods of machine learning und Informatik neue Möglichkeiten, die die Entwicklung
(Bag-of-visual Words) and deep learning (Convolutional von autonomen Flugsystemen und leistungsfähigen Bild-
Neural Networks). It was shown that the tested algo- verarbeitungsalgorithmen auch für die Landwirtschaft
rithms are suitable for predicting mono- and dicotyle- erschwinglich machen. Gleichzeitig wurde die Hardware
donous plant species. The data obtained from the field optischer Systeme signifikant weiterentwickelt, was
sampling were converted into application maps and used neben der sicheren Navigation von UAVs in geringer
by the project partners as part of their work packages to Flughöhe (5 m) die Voraussetzung für eine hohe photo-
carry out site-specific, selective weed control treatments grammetrische Abbildungsleistung schafft und letztend-
with a direct-injection system in practical field trials. lich die artspezifische Erfassung von Einzelpflanzen auf
einer Kulturfläche potentiell ermöglicht (PFLANZ & NORD-
Key words: Weed detection, weed distribution maps, MEYER, 2016).
site-specific crop protection, machine learning, Für die Unkrauterkennung selbst werden zunehmend
artificial intelligence, image processing Methoden des maschinellen Lernens adaptiert, die durch
eine objektbasierte Klassifikation eindeutiger Merkmale
bei der automatischen Bestimmung vieler Unkrautarten
Einleitung bereits erste Fortschritte erzielen konnten (PFLANZ et al.,
2018b). Diese Ansätze in der Bildanalyse berücksichtigen
122
Unkräuter zählen nach wie vor zu den wichtigsten lokale, invariante Formenmerkmale in hochauflösenden
Schadorganismen im Ackerbau, was im Wesentlichen auf Bildaufnahmen, um Unkräuter, Kulturpflanzen und
eine starke Konkurrenzwirkung bezüglich Licht-, Wasser- Boden voneinander zu unterscheiden (DYRMANN et al.,
und Nährstoffaufnahme zurückzuführen ist (MILBERG & 2016)
HALLGREN, 2004). Unkräuter sind auf Anbauflächen in der Für die Überführung von wissenschaftlich erprobten
Regel nicht homogen verteilt, sondern vielmehr in Clus- Verfahren wurden im Rahmen des Projektes „AssSys“
tern oder Nestern, wodurch die Basis für ein teilflächen- Möglichkeiten der automatisierten Unkrauterkennung
spezifisches Unkrautmanagement geschaffen wird. Hier- evaluiert. Ziel war es, möglichst exakte Unkrautvertei-
bei kann die Applikation von Herbiziden hinsichtlich lungskarten zu generieren und als Applikationskarten in
Aufwandmenge und Herbizidwahl an die räumlich varia- das entwickelte Assistenzsystem zu integrieren. In Feld-
blen Unkrautsituationen landwirtschaftlicher Flächen versuchen wurde das System im Hinblick auf den Erfolg
angepasst und damit eine Reduzierung der Pflanzen- der differenzierten Unkrautbekämpfung validiert. In die-
schutzintensität ermöglicht werden. Voraussetzung für sem Beitrag sollen insbesondere Ergebnisse der For-
ein teilflächenspezifisches Unkrautmanagement ist eine schungs- und Entwicklungsarbeiten im Bereich der opti-
exakte Erfassung der Unkrautdichte und -arten mit mög- schen Unkrauterfassung dargestellt werden.
lichst hoher räumlicher Auflösung (HÄUSLER & NORD-
MEYER, 1999; CHRISTENSEN et al., 2003; NORDMEYER, 2006;
LÓPEZ-GRANADOS, 2011). Derzeit werden im Wesentlichen Datenerhebung und Kartenerstellung
stichprobenartige Feldbegehungen begleitet von manuel-
len Unkrautbonituren durchgeführt. Eine umfassende Feld- und Halbfreilandversuche
Unkrauterfassung über die gesamte Ackerfläche ist hier- Die Durchführung der Feldversuche erfolgte in den Jah-
bei meist nicht realisierbar. Eine höher aufgelöste Daten- ren 2017–2019 auf 4–7 ha großen Versuchsflächen des
gewinnung zur Unkrautverteilung könnte dagegen mit Julius Kühn-Instituts und externer Landwirte in Nieder-
Hilfe optischer Sensoren im Online-Verfahren (mit sachsen und Sachsen-Anhalt. Es wurden Ackerflächen in
Kameras an Schlepper oder Feldspritzgerät) bzw. durch verschiedenen Regionen mit unterschiedlichen klimati-
Bildaufnahmen autonom fliegender Sensorplattformen schen Bedingungen und Bodenverhältnissen ausgewählt.
(UAV) im sogenannten Offline-Verfahren erreicht wer- Die Versuche wurden ausschließlich in Getreide (Winter-
den. Im Ergebnis beider Verfahren werden schlagspezifi- und Sommerweizen, Wintergerste) durchgeführt (WELL-
sche Unkrautverteilungskarten generiert, die die Grund- HAUSEN et al., 2019).
lage für Applikationskarten bilden und somit eine zielge- Zusätzlich zu den Feldversuchen wurden außerdem
naue Applikation von Herbiziden ermöglichen. Halbfreilandversuche in sog. Betonparzellen zur Erstel-
Verfahren zur Vegetationsfernerkundung werden in lung von Bildaufnahmen unter kontrollierten Bedingun-
der Landwirtschaft bereits seit mehreren Jahrzehnten gen durchgeführt. Dazu wurden einkeim- und zweikeim-
genutzt. In der Regel werden Satellitenbilder oder Auf- blättrige Unkräuter im Entwicklungsstadium BBCH 12 in
nahmen aus bemannten Befliegungen analysiert, um die unterschiedlichen Kombinationen und Dichten in einen
räumliche Variabilität einer landwirtschaftlichen Kultur- zuvor ausgesäten Weizenbestand pikiert. Im Anschluss
fläche zu identifizieren und Kulturmaßnahmen (z. B. erfolgte die Bildaufnahme in einem eigens dafür konzi-
Düngung) teilflächenspezifisch anzupassen (DOBERS, pierten Gestell, welches Aufnahmen in einer konstanten
2002; KLUGE & NORDMEYER, 2012). Die zeitliche Verfüg- Höhe und unter gleichbleibenden Lichtbedingungen
barkeit von Satellitenbildern ist jedoch begrenzt und bie- ermöglichte (PFLANZ et al., 2018a). Die Bildaufnahmen
Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart
wurden in regelmäßigen Abständen zwei Mal wöchent-
Übersichtsarbeit
lich durchgeführt, um die Entwicklung der Kulturpflan-
zen und Unkräuter abzubilden (Abb. 1).
Manuelle Unkrautbonituren
Mit Hilfe eines modifizierten Göttinger Zähl- und Schätz-
rahmens wurden auf jeweils 0,1 m2 großen Flächenseg-
menten und in einem Raster von 12 × 12 bzw. 24 × 24 m
die vorhandenen Unkräuter vor dem Beginn der Herbizid-
applikation auf den Versuchsflächen des JKIs und betei-
ligter Partner bonitiert. Hierzu wurden an jedem Boni-
turpunkt georeferenzierte Bildaufnahmen mit einer
RGB-Kompaktkamera (Alpha 6000, Sony) erstellt, die in
einer fixierten Höhe von 45 cm am modifizierten Zähl-
rahmen befestigt war (Abb. 2). Die Brennweite der
Kamera war ebenfalls fest eingestellt, sodass die Bildauf-
nahmen einen vergleichbar großen Flächenausschnitt
aller Boniturpunkte zeigten. Die Belichtungszeit der Bil-
der wurde bei vorgegebener Blendenöffnung durch die
123
Kameraautomatik errechnet (WELLHAUSEN et al., 2020).
Die Boniturergebnisse wurden direkt über eine App in
Echtzeit erfasst und automatisch mit einer GPS-Koordina-
te versehen. Somit standen die Boniturdaten sofort in di-
gitaler Form über das AssSys – WebPortal zur Verfügung
Abb. 2. Modifizierter Göttinger Zähl- und Schätzrahmen mit fest
UAV-Befliegung, photometrische Aufnahmen und montierter Kamera zur Bilderfassung und einem Tablet zur Erfassung
der GPS-Koordinaten und Unkraut-Boniturdaten.
Kartenerstellung
Die Klassifikation unterschiedlicher Arten durch die
Vegetationserkundung wurde durch hochauflösende
Luftbildaufnahmen und merkmalsextrahierende Bildver- RGB-Kompaktkamera (NEX 5N, Sony und Alpha 6000)
arbeitung erreicht. Es erfolgte eine Befliegung mit einem Bilder an den Boniturpunkten in einer Flughöhe von 5 m
Multicopter (Oktopus, CiS GmbH), bei der mit einer erstellt wurden.
ALOMY APESV GALAP MATCH TRZAW VERHE VIOAR SOIL
19.10.
29.10.
12.11.
28.11.
Abb. 1. Beispiele der regelmäßigen Bildaufnahmen einkeim- und zweikeimblättriger Unkrautpflanzen und Weizen des Halbfreilandversuchs
(dargestellt sind 4 von insgesamt 12 Aufnahmeterminen). Zusätzlich dargestellt sind Aufnahmen der Kategorie Boden (SOIL), die im Aufnahme-
zeitraum keine signifikanten Veränderungen der oberflächlichen Bodenstruktur zeigten. ALOMY, Alopecurus myosuroides; APESV, Apera spi-
ca-venti; GALAP, Galium aparine; MATCH, Matricaria recutita; TRZAW, Triticum aestivum; VERHE, Veronica hederifolia; VIAOR; Viola arvensis
Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart
Aus den manuellen Bonituren wurden im Anschluss datensatzes, also der Menge trainierter Bilder und der
Übersichtsarbeit
Unkrautverteilungskarten mittels der Software Surfer daraus extrahierten Objektmerkmale, abhängig. Wäh-
(Golden Software, LLC.) bzw. ArcMap (ArcGIS, esri Inc.) rend bei klassischen Methoden des maschinellen Lernens
oder QGIS generiert. Diese schlagspezifischen, georefe- wie z. B. der Erkennung mit Hilfe des Bag-of-visual-
renzierten Unkrautkarten dienten als Grundlage für die Words-Ansatzes (BoVW), bereits mit wenigen tausend
Erstellung von Applikationskarten für die Feldversuche trainierten Bildern vergleichsweise hohe Erkennungsra-
zur Unkrautbekämpfung. ten erreicht werden können, tritt ein robuster Lerneffekt
bei den derzeit vielfach verwendeten Convolutional Neu-
Teilflächenspezifische Unkrautkontrolle ral Networks (CNNs) erst bei größeren Bilddatensätzen
Auf Basis der jeweiligen Unkrautart und -dichte und den je Kategorie ein (KRIZHEVSKY et al., 2017).
artspezifischen Schadschwellen wurden auf den Flächen Aus diesem Grund wurden Bilder von typischen
Bereiche definiert, in denen eine Anwendung unter- Unkrautsituationen auf den Versuchsfeldern aufgenom-
schiedlicher Herbizide mit einer Direkteinspeisungs- men und anschließend manuell am PC annotiert. In der
spritze (Herbert Dammann GmbH) oder aber keine hierfür am Institut für Pflanzenschutz in Ackerbau und
Anwendung von Herbiziden erfolgte. Die Wirksamkeit Grünland des JKI entwickelten Software (ImageObject-
dieser durchgeführten teilflächenspezifischen Unkraut- Locator Version 0.38) können Einzelpflanzen artspezi-
bekämpfungsmaßnahmen wurde anschließend kontrol- fisch durch gezielte Platzierung von Markierungen iden-
liert und bonitiert. Hierzu wurde 4 bis 6 Wochen nach tifiziert und pixelbasiert verortet werden (Abb. 3). Auf
der Applikation ebenfalls durch manuelle Bonitur die Basis der Pflanzenposition erfolgte anschließend eine
124
Verunkrautung mit einem Göttinger Zahl- und Schätz- Segmentierung der Gesamtaufnahme in 200 × 200 Pixel
rahmen erfasst (POHL et al., 2020). große Bildausschnitte der einzelnen Unkrautpflanzen
(Abb. 4). Die so erzeugten Bilddaten von vereinzelten
Auswertung der manuellen Bildaufnahmen Unkräutern bilden den Trainingsdatensatz und umfass-
Die Klassifizierungsleistung von neuronalen Netzwerk- ten die Unkrautarten Alopecurus myosuroides (ALOMY),
strukturen ist sehr stark von der Größe des Trainings- Matricaria spp. (MATSS), Veronica spp. (VERSS) und
Abb. 3. ImageObjectLocator Version 0.38. Benutzeroberfläche mit annotierten Unkrautpflanzen.
Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart
Übersichtsarbeit
125
Abb. 4. Annotierter Bilddaten-
satz (Auswahl) verschiedener
Verunkrautungssituationen für
die CNN-Klassifikation. Trainiert
wurden die Klassen (A) ALOMY, (B)
MATSS, (C) SOIL, (D) TRZAW, (E)
VERSS und (F) VIOAR.
Viola arvensis (VIOAR) sowie Winterweizen (TRZAW) rende Beleuchtungssituationen ausgeglichen werden.
und die Hintergrundklasse Boden (SOIL). Signifikante Strukturen eines Bildes werden mit Längen-
und Richtungsvektoren beschrieben, die in einer 4x4-
Convolutional Neural Networks (CNN) zur automa- Matrix gespeichert sind.
tischen Unkrauterkennung Hier wird deutlich, dass je nach Pflanzenart und ver-
Eines der Ziele dieser Studie war es, die Eignung von wendetem Feature-Extraktor teils sehr viele beschrei-
deep-learning-Algorithmen unter Verwendung von bende Attribute (features) in den Bildern gefunden wer-
CNNs den bisher verwendeten klassischen Ansätzen von den. Dies ist für Feldaufnahmen relativ typisch. In der
maschinellem Lernen auf Basis des Bag-of-visual-Words Folge müssen Netzwerkstrukturen trainiert werden, die
(BoVW) gegenüberzustellen (PFLANZ et al., 2018a). In auch bei einer sehr großen Anzahl an Merkmalen auf ein-
Abb. 5 sind beispielhaft einige Bilder (samples) für deutige Muster verallgemeinern können, was bei Vorher-
bedeutende Unkrautarten und die häufig vorkommende sagen mit dem Ansatz der Bag-of-Words in der Regel nur
Hintergrundklasse Boden (SOIL) dargestellt. Für die bei wenigen zu unterscheidenden Klassen zuverlässig ist.
Detektion und Beschreibung lokaler Bildmerkmale mit Bei CNN-trainierten Modellen werden die verschiede-
Hilfe des BoVW-Ansatzes wurde zunächst ein Algorith- nen Merkmalsextraktoren (hier als Filter bezeichnet)
mus verwendet, der eine skaleninvariante Merkmals- dagegen in verschiedenen Schichten, den Convolution
transformation ermöglicht (engl. Scale-invariant feature Layer abgebildet, wodurch eindeutige Muster auch in
transform – SIFT). Dies ist erforderlich, da die Orien- einer großen Menge von Features erkannt werden kön-
tierung und Größe der gesuchten Unkrautpflanzen im nen. Für die vorliegenden Bilddatensätze der Kategorien
Bild sehr unterschiedlich sein kann. SIFT-Deskriptoren ALOMY, MATSS, VERSS, VIOAR und TRZAW, sowie für
sind weitestgehend invariant gegenüber Koordinaten- die Hintergrundkategorie SOIL wurden Standard-CNNs
transformationen wie Translation, Rotation und Skalie- mit sechs Ebenen (Conv2D-Layer: 32, 32, 64, 128, 256,
rung. In begrenztem Umfang können durch SIFT-Trans- 16) in 15 Epochen mit einer BatchSize von 8 trainiert.
formationen auch Effekte wie Bildrauschen oder variie- Dies erfolgte mit Hilfe der deep learning-Bibliothek Keras
Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart
Übersichtsarbeit
126
Abb. 5. Lage gefundener Key-
points (gelb) und ihrer SIFT-De-
skriptoren (grün dargestellt als
4x4 Geometrie mit Orientie-
rung). Zur besseren Anschauung
wurden nur 10 zufällig ausge-
wählte SIFT-Deskriptoren pro
Bildklasse eingezeichnet. A)
MATCH, B) VIOAR C), VERHE D)
SOIL.
(Version 2.2.4) und des Lernframeworks TensorFlow Ausgewählte Projektergebnisse und Diskussion
(Version 2.0) unter Python 3.7 (CHOLLET, 2015). Die
Generierung der Modelle war auf einer Xeon E5-Work- Feld- und Halbfreilandversuche
station mit einer Quadro P4000-Grafikkarte nach etwa Eine erste Validierung der BoVW-Modelle auf einem Test-
fünf Stunden abgeschlossen. Das CNN-Vorhersagemodell datensatz von zufälligen Einzelbildern aus den Betonpar-
des Trainingsdatensatzes wurde auf einem unabhängi- zellen ergab eine Gesamtgenauigkeit von 82,2 %
gen Testdatensatz validiert. (Tab. 1). Für die zweikeimblättrigen Unkrautarten Gali-
Tab. 1. Konfusionsmatrix der BoVW-Vorhersage für das Image TestSet. ALOMY, Alopecurus myosuroides; APESV, Apera spi-
ca-venti; GALAP, Galium aparine; MATCH, Matricaria recutita; SOIL, Hintergrund; TRZAW, Triticum aestivum; VERHE, Veronica hed-
erifolia; VIAOR; Viola arvensis
ALOMY APESV GALAP MATCH SOIL TRZAW VERHE VIOAR Recall
ALOMY 48 23 3 1 34 4 0 0 0,42
APESV 24 62 0 3 9 9 0 1 0,57
GALAP 1 1 61 3 0 2 2 2 0,85
MATCH 1 1 0 59 6 0 0 0 0,88
SOIL 0 0 0 0 184 0 0 0 1,00
TRZAW 2 2 0 0 0 126 0 0 0,97
VERHE 1 0 0 0 0 0 81 4 0,94
VIOAR 0 1 5 0 2 0 2 66 0,87
Precision 0,62 0,69 0,88 0,89 0,78 0,89 0,95 0,90 82,18
Journal für Kulturpflanzen 73. 2021Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart
um aparine (GALAP), Matricaria recutita (MATCH), genauigkeit nahm ab, wenn das Entwicklungsstadium
Übersichtsarbeit
Veronica hederifolia (VERHE) und Viola arvensis (VIAOR) der Pflanzen entweder zu klein oder zu groß war.
lag der Anteil an richtig vorhergesagten Ergebnissen Demgegenüber zeigt die Validierung der CNN-trainier-
bezogen auf die Gesamtheit aller als positiv vorhergesag- ten Modelle auf dem identischen Bilddatensatz eine
ten Ergebnisse (Precision) über 88 %. Die Trefferquote Gesamtgenauigkeit von 95,10 % und liegt damit um etwa
(Recall), also der Anteil korrekt als positiv klassifizierter 13 % über dem Ergebnis der BoVW-Klassifizierung. Wäh-
Ergebnisse bezogen auf die Gesamtheit tatsächlich posi- rend mit den extrahierten signifikanten Merkmalen der
tiver Ergebnisse, lag in den gleichen Kategorien bei über zweikeimblättrigen Unkrautarten mit beiden Lernverfah-
85 %. Bei den einkeimblättrigen Unkrautarten wurde ren Klassifizierungsgenauigkeiten von mehr als 88 % er-
eine Genauigkeit von 62 % (Alopecurus myosuroides, reicht werden konnten, war Erkennungsgenauigkeit des
ALOMY) und 69 % (Apera spica-venti, APESV) erreicht, verwendeten CNN-Modells bei einkeimblättrigen Un-
wohingegen die Trefferquote nur bei 42 bzw. 57 % lag. krautarten sehr viel größer als die der BoVW-Modelle. So
Auffällig sind die erzielten Ergebnisse für die Kategorie konnten mit dem CNN-Modell auch einkeimblättrige Un-
SOIL. Hier lag die Trefferquote der Vorhersage zwar bei krautarten wie ALOMY und APESV mit einer Genauigkeit
100 %, die Genauigkeit allerdings nur bei 78 %. von mehr als 84 % und mit einer Trefferquote von mehr
Darüber hinaus konnte festgestellt werden, dass die als 86 % bestimmt werden. Die Trefferquote für die Kate-
Vorhersagegenauigkeit der BoVW-Modelle eine Abhän- gorie SOIL lag unverändert bei 100 %, während für die
gigkeit vom Entwicklungsstadium der trainierten Un- Genauigkeit im Vergleich zur Validierung der BoVW-Mo-
kräuter und des Weizens zeigt (Abb. 6). Die Vorhersage- delle hier Werte von 98 % erreicht wurden (Tab. 2). Zwar
127
Abb. 6. Abhängigkeit der Vorhersagegenauigkeit sowie der Trefferquote der BoVW-trainierten Modelle vom Entwicklungsstadium von (A) ein-
keimblättrigen Unkräutern und Weizen sowie (B) zweikeimblättrigen Unkräutern. ALOMY, Alopecurus myosuroides; APESV, Apera spica-venti;
TRZAW, Triticum aestivum; GALAP, Galium aparine; VERHE, Veronica hederifolia; MATCH, Matricaria recutita
Tab. 2. Konfusionsmatrix der CNN-Vorhersage für das Image TestSet. ALOMY, Alopecurus myosuroides; APESV, Apera spica-ven-
ti; GALAP, Galium aparine; MATCH, Matricaria recutita; SOIL, Hintergrund; TRZAW, Triticum aestivum; VERHE, Veronica hederifolia;
VIAOR; Viola arvensis
ALOMY APESV GALAP MATCH SOIL TRZAW VERHE VIOAR Recall
ALOMY 98 10 0 0 3 2 0 0 0,87
APESV 13 93 0 0 1 1 0 0 0,86
GALAP 0 0 71 1 0 0 0 0 0,99
MATCH 2 0 0 65 0 0 0 0 0,97
SOIL 0 0 0 0 184 0 0 0 1,00
TRZAW 2 0 0 0 0 128 0 0 0,98
VERHE 1 0 1 0 0 0 83 1 0,97
VIOAR 0 0 1 0 0 0 2 73 0,96
Precision 0,84 0,90 0,97 0,98 0,98 0,98 0,98 0,99 95,10
Journal für Kulturpflanzen 73. 2021Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart
wurden keine vergleichenden Berechnungen ohne die Für die Erprobung eines automatisierten Verfahrens zur
Übersichtsarbeit
Kategorie SOIL durchgeführt, es sollte aber dennoch Unkrauterkennung wurden die während der manuellen
davon auszugehen sein, dass das Trainieren von Merk- Bonitur aus geringer Höhe erstellten Bildaufnahmen
malen des Bildhintergrundes dazu beigetragen hat, die genutzt. Die zuvor trainierten deep learning-Algorith-
Gesamterkennungsleistung beider Lernverfahren zu men wurden auf diese Bildaufnahmen angewendet und
erhöhen. basierend auf dieser automatischen Unkrauterkennung
Wie bei der Vorhersage mit BoVW-Modellen ergab sich Vorhersagekarten erstellt. Die in Abb. 8 dargestellten
auch bei der Erkennung von Unkrautarten mit CNN-Mo- Vorhersagekarten für zwei der Versuchsflächen zeigen,
dellen eine Abhängigkeit vom Entwicklungsstadium der dass sich die getesteten Algorithmen grundsätzlich für
Pflanzen (Abb. 6). Diese Abhängigkeit ist bei der Vorher- eine Vorhersage der richtigen Pflanzenart- bzw. Boden-
sage durch das trainierte CNN und insbesondere bei den kategorie eignen. Die Flächenanteile für MATSS und
zweikeimblättrigen Unkrautarten wesentlich geringer als VIOAR wurden richtig geschätzt, jedoch wurde bei einem
bei der Verwendung der BoVW-Modelle. Für die einkeim- geringen Anteil ALOMY der Anteil durch die Modelle
blättrigen Unkrautarten ALOMY und APESV lag die deutlich überschätzt. Dies tritt besonders bei der
Erkennungsgenauigkeit bei etwa 60 % bzw. 80 % und Betrachtung der Feldrandbereiche auf.
veränderte sich im beobachteten Entwicklungszeitraum Um aus den Vorhersagekarten der Aufnahmen der ein-
nur unwesentlich (Abb. 7). Die ebenfalls einkeimblättri- zelnen Boniturpunkte ganzflächige Unkrautverteilungs-
gen Weizenpflanzen waren jedoch besonders zu Beginn karten zu erstellen, ist neben der Interpolation zwischen
der Messungen nicht von ALOMY und APESV zu unter- den Punkten auch eine Umrechnung der vom Modell
128
scheiden. Erst nach zwei Wochen konnten Weizenpflan- geschätzten Flächenanteile (Pixel) zu der Anzahl einzel-
zen korrekt identifiziert werden. Bei der Erkennung der ner Unkrautpflanzen je m2 notwendig. Nur so lassen sich
zweikeimblättrigen Arten GALAP, VERHE und MATCH die Ergebnisse mit bestehenden Schadschwellenkonzep-
lag die Erkennungsgenauigkeit gleich zu Beginn der Mes- ten bearbeiten. Da die hier verwendeten Bildaufnahmen
sungen bei mehr als 98 % und sank auch bis zum Ende zudem nur einen geringen Flächenausschnitt widerspie-
der vierwöchigen Versuchsreihe nicht auf Werte unter geln, erfolgte als nächster Schritt eine Anwendung der
80 % ab. deep-learning-Algorithmen auf den ebenfalls erstellten
UAV-gestützten Luftbildaufnahmen (Abb. 9).
Automatische Erstellung von Unkrautverteilungs- Aus den Daten geht hervor, dass die automatische Luft-
und Applikationsdaten bildauswertung in weiten Teilen ähnliche Ergebnisse lie-
Im Rahmen des Projektes AssSys wurden die Unkrautver- ferte wie die manuelle Bonitur. Eine Verbesserung des
teilungskarten und die darauf aufbauenden Applikati- Systems kann also dazu beitragen, die Erhebung von Un-
onsdaten auf Basis der manuellen Boniturdaten erstellt krautdichten auf der Ackerfläche erheblich zu beschleu-
(WELLHAUSEN et al., 2019, 2020). Da die manuelle Bonitur nigen.
von ausreichenden Boniturpunkten aber sehr arbeits- Die in diesem Teilprojekt generierten Ergebnisse wur-
und kostenintensiv ist, sollten hier zukünftig automa- den vom JKI-Institut für Anwendungstechnik im Pflan-
tische Verfahren z. B. via UAV-Befliegung und automa- zenschutz und dem Partner GID (GeoInformationsdienst
tischer Unkrauterkennung genutzt werden, um die Un- GmbH) weiterverarbeitet und in das Assistenzsystem ein-
krautverteilung mit ausreichender Präzision zu erfassen. gebunden.
Abb. 7. Abhängigkeit der Vorhersagegenauigkeit sowie der Trefferquote CNN-trainierter Modelle vom Entwicklungsstadium von (A) einkeim-
blättrigen Unkräutern und Weizen sowie (B) zweikeimblättrigen Unkräutern. ALOMY, Alopecurus myosuroides; APESV, Apera spica-venti; TRZAW,
Triticum aestivum; GALAP, Galium aparine; VERHE, Veronica hederifolia; MATCH, Matricaria recutita
Journal für Kulturpflanzen 73. 2021Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart
Übersichtsarbeit
129
Abb. 8. Unkrautklassifizierungsergebnisse der deep learning Algorithmen auf Aufnahmen aus 45 cm Höhe (Zählrahmen) mit (A) hohem An-
teil ALOMY und (B) geringem Anteil ALOMY (Wellhausen et al., 2020). VIAOR; Viola arvensis; VERSS, Veronica-Arten; TRZAW, Triticum aestivum;
SOIL, Hintergrund; MATSS, Kamille-Arten; ALOMY, Alopecurus myosuroides.
Abb. 9. Exemplarischer Vergleich von Verteilungskarten (MATSS und VIOAR) bei manueller Bonitur und Luftbildauswertung (Wellhausen et
al., 2020).
Ausblick Auch für das Unkrautmanagement stellen sie eine heute
interessante Alternative zu bisherigen Erfassungsmetho-
Der hier gewählte Ansatz ermöglicht grundsätzlich die den dar. Für den Praxiseinsatz sind jedoch insbesondere
Unterscheidung von Unkrautarten auf Ackerflächen. Um bei der Flächenleistung und der automatischen Bilder-
eine praxisrelevante Unkrauterkennung umzusetzen, kennung noch weitere Verbesserungen notwendig.
muss der Ansatz mithilfe von weiteren Luftbildaufnah- Weitere Schritte werden die Validierung der BoVW-
men unter Feldbedingungen evaluiert werden, damit die Modelle auf im Feld gesammelte Bildern beinhalten. Mit
natürliche Variabilität auf ackerbaulich genutzten Flä- Daten von verschiedenen Feldern und damit verschiede-
chen besser abgebildet werden kann. Flugroboter wer- nen Unkrautarten kann der Kalibrierungsdatensatz
den in der Landwirtschaft bereits vielfältig eingesetzt. erweitert werden, so dass eine größere Anzahl von
Journal für Kulturpflanzen 73. 2021Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart
Unkrautarten erkannt wird. Die klassifizierten Bilder HÄUSLER, A., H. NORDMEYER, 1999: Characterizing spatial and tem-
poral dynamics of weed seedling populations. Precision agricul-
Übersichtsarbeit
werden anschließend zur Erstellung von Unkrautvertei-
ture '99, Part 1 and Part 2. Papers presented at the 2nd European
lungskarten verwendet. Conference on Precision Agriculture, Odense, Denmark, 11-15
Künstliche Neuronale Netze und KI werden sich in den July 1999, 463-472.
KLUGE, A., H. NORDMEYER, 2012: Verfahren der Bildanalyse zur
kommenden Jahren weiterentwickeln, weshalb davon Unkrauterkennung in Getreide: Procedures of image analysis for
ausgegangen werden kann, dass sich das Fachgebiet Bild- weed recognition in cereals. Julius-Kühn-Archiv (434), 235–242,
und speziell Unkrauterkennung schnell weiterentwickeln DOI: 10.5073/jka.2012.434.000.
KRIZHEVSKY, A., I. SUTSKEVER, G.E. HINTON, 2017: ImageNet classifica-
wird. Dafür spricht ebenfalls, dass zunehmend Bildda- tion with deep convolutional neural networks. Communications
tensätze veröffentlicht werden, die es in ihrer Gesamtheit of the ACM 60 (6), 84–90, DOI: 10.1145/3065386.
LÓPEZ-GRANADOS, F., 2011: Weed detection for site-specific weed ma-
erlauben größere Trainingsdatensätze zu nutzen und nagement: mapping and real-time approaches. Weed Research 51
eigene Datensätze zu verfeinern. Dies wird mittelfristig (1), 1-11.
MILBERG, P., E. HALLGREN, 2004: Yield loss due to weeds in cereals and
zu einer weiteren Leistungssteigerung in der Unkrauter- its large-scale variability in Sweden. Field Crops Research 86
kennung führen. (2-3), 199–209, DOI: 10.1016/j.fcr.2003.08.006.
NORDMEYER, H., 2006: Patchy weed distribution and site-specific
weed control in winter cereals. Precision Agriculture 7 (3), 219–
231, DOI: 10.1007/s11119-006-9015-8.
Danksagung PFLANZ, M., H. NORDMEYER, 2016: Automatisierte Unkrauterkennung
auf dem Acker – Möglichkeiten und Grenzen. Julius-Kühn-Archiv
(452), 241, DOI: 10.5073/jka.2016.452.033.
Die Förderung des Vorhabens erfolgt (bzw. erfolgte) aus PFLANZ, M., H. NORDMEYER, M. SCHIRRMANN, 2018a: Weed Mapping
Mitteln des Bundesministeriums für Ernährung und with UAS Imagery and a Bag of Visual Words Based Image Clas-
130 sifier. Remote Sensing 10 (10), 1530, DOI: 10.3390/rs10101530.
Landwirtschaft (BMEL) aufgrund eines Beschlusses des PFLANZ, M., M. SCHIRRMANN, H. NORDMEYER, 2018b: Räumlich hoch-
Deutschen Bundestages. Die Projektträgerschaft erfolgt auflösende Unkrauterkennung mittels Flugroboter und merk-
malsextrahierender Bildverarbeitung. Julius-Kühn-Archiv 458,
(bzw. erfolgte) über die Bundesanstalt für Landwirt- 379–384, DOI: 10.5073/JKA.2018.458.056.
schaft und Ernährung (BLE) im Rahmen des Programms POHL, J.P., D. VON HÖRSTEN, J.K. WEGENER, B. GOLLA, I. KARPINSKI, S.
zur Innovationsförderung. RAJMIS, C. SINN, H. NORDMEYER, C. WELLHAUSEN, B. KLEINHENZ, M.
HERRMANN, H. DUNEKACKE, A. MATTHIESEN, F. VON BARGEN, D. JAHN-
CKE, D. FEISE, M. RÖHRIG, R. SANDER, 2020: Assistance system for
the site-specific use of herbicides. Julius-Kühn-Archiv (464), 216–
221, DOI: 10.5073/jka.2020.464.033.
Interessenskonflikte WELLHAUSEN, C., M. PFLANZ, J.-P. POHL, H. NORDMEYER, 2019: Auto-
matic weed recognition for site-specific herbicide application. The
12th European Conference on Precision Agriculture: 8-11 July
Die Autoren erklären, dass keine Interessenskonflikte 2019, Montpellier, France; Book of abstracts of all the Posters,
vorliegen. 196-197.
WELLHAUSEN, C., M. PFLANZ, J.-P. POHL, H. NORDMEYER, 2020: Gene-
rierung von Unkrautverteilungskarten auf der Basis automati-
scher Annotierungen in Feldaufnahmen. Julius-Kühn-Archiv
Literatur (464), 222, DOI: 10.5073/jka.2020.464.034.
CHOLLET, F., 2015: keras. Zugriff: 7. Januar 2021, URL: https://github.
com/fchollet/keras. © Der Autor/Die Autorin 2021.
CHRISTENSEN, S., T. HEISEL, A.M. WALTER, E. GRAGLIA, 2003: A decision Dies ist ein Open-Access-Artikel, der unter den Bedin-
algorithm for patch spraying. Weed Research 43 (4), 276–284, gungen der Creative Commons Namensnennung 4.0 International
DOI: 10.1046/j.1365-3180.2003.00344.x. Lizenz (CC BY 4.0) zur Verfügung gestellt wird
DOBERS, E.S., 2002: Methoden der Standorterkundung als Grund- (https://creativecommons.org/licenses/by/4.0/deed.de).
lage des DGPS-gestützten Ackerbaus eine Fallstudie aus dem Löss-
gebiet des Mittleren Fläming. Dissertation, Universität Göttingen
- Inst. für Bodenwiss. © The Author(s) 2021.
DYRMANN, M., H. KARSTOFT, H.S. MIDTIBY, 2016: Plant species classi- This is an Open Access article distributed under the
fication using deep convolutional neural network. Biosystems terms of the Creative Commons Attribution 4.0 International License
Engineering 151, 72-80. (https://creativecommons.org/licenses/by/4.0/deed.en).
Journal für Kulturpflanzen 73. 2021Sie können auch lesen
