Unkrauterkennung und Kartierung zur automatischen Applikationskartenerstellung im Pflanzenschutz - weitere Zeitschriften des JKI
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart Übersichtsarbeit Christoph Kämpfer1, Lena Ulber1, Christina Wellhausen2, Michael Pflanz1,3 Unkrauterkennung und Kartierung zur automatischen Applikationskartenerstellung im Pflanzenschutz Weed detection and mapping for automatic application map generation in crop protection 121 Zusammenfassung überführt und von den Partnern des Projektes genutzt, um in praxisnahen Feldversuchen teilflächenspezifische, Für eine künftig umweltverträgliche und teilflächen- selektive Unkrautbekämpfungsmaßnahmen mit einem spezifische Anwendung von Herbiziden ist eine genaue Direkteinspeisungssystem durchzuführen. Kenntnis über die Zusammensetzung und die räumliche Verteilung von Nutzpflanzen und Unkräutern auf Acker- Stichwörter: Unkrauterkennung, Unkrautverteilungs- flächen erforderlich. Sind diese Informationen bekannt, karten, teilflächenspezifischer Pflanzenschutz, können sie in Unkrautverteilungskarten abgebildet wer- maschinelles Lernen, künstliche Intelligenz, den und dienen dann als Basis für die Erstellung von Bildverarbeitung Applikationskarten. Eine bislang fehlende Prozesskette beginnend beim Pflanzenmonitoring auf dem Acker, über Methoden zur automatischen Identifizierung von Abstract Einzelpflanzen und der Generierung von Verteilungskar- ten wurden erstmals durchlaufen. Hierzu wurden im Pro- For environmental and site-specific application of herbi- jekt „Assistenzsystem zur teilflächenspezifischen Appli- cides in the coming future, precise knowledge of the kation von Pflanzenschutzmitteln (AssSys)“ manuelle structure and spatial distribution of crops and weeds on Kamera-gestützte Feld- und Halbfreilandbonituren typi- arable land is required. If this information is known, it scher Verunkrautungssituationen und Feldbefliegungen can be mapped in weed distribution maps and then serve mit einem Multicopter genutzt, um die Position und die as a basis for the generation of application maps. A pro- Bestandsdichten von Unkräutern und Kulturpflanzen zu cess chain that has been missing so far, starting with bestimmen und zu kartieren. Die Segmentierung aller plant monitoring in the field, through methods for the Aufnahmen erfolgte manuell mit einer eigenständig ent- automatic identification of individual plants and the gen- wickelten Software zur Annotation von Bilddaten und eration of distribution maps, was run through for the first nach dem Training von umfangreichen Datensätzen time in a first approach as part of the work package automatisch mit Methoden des maschinellen (Bag-of- “Weed Identification and Mapping”. For this purpose, the visual Words) und tiefen Lernens (Convolutional Neural AssSys project used manual camera-based field and Networks). Es zeigte sich, dass die getesteten Algorith- semi-field sampling of typical weed situations and auto- men für eine Vorhersage von ein- und zweikeimblättri- matic field aerial photographs with a multicopter to gen Pflanzenarten geeignet sind. Die aus den Feldbonitu- determine and map the position and population densities ren gewonnenen Daten wurden in Applikationskarten of weeds and crop plants. All images were segmented Affiliationen 1 Julius Kühn-Institut (JKI) – Bundesforschungsinstitut für Kulturpflanzen, Institut für Pflanzenschutz in Ackerbau und Grün- land, Braunschweig 2 KWS SAAT SE & Co. KGaA, Einbeck 3 Leibniz-Institut für Agrartechnik und Bioökonomie e. V. (ATB), Potsdam Kontaktanschrift Christoph Kämpfer, Julius Kühn-Institut (JKI) – Bundesforschungsinstitut für Kulturpflanzen, Institut für Pflanzenschutz in Ackerbau und Grünland, Messeweg 11/12, 38104 Braunschweig, E-Mail: christoph.kaempfer@julius-kuehn.de Zur Veröffentlichung eingereicht/angenommen 25. Februar 2021/19. April 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart manually using an own developed software for annota- tet nur eine sehr grobe Auflösung. Alternativ ermöglicht Übersichtsarbeit tion of image data and after training of large datasets der technische Fortschritt auf den Gebieten der Robotik comparatively using methods of machine learning und Informatik neue Möglichkeiten, die die Entwicklung (Bag-of-visual Words) and deep learning (Convolutional von autonomen Flugsystemen und leistungsfähigen Bild- Neural Networks). It was shown that the tested algo- verarbeitungsalgorithmen auch für die Landwirtschaft rithms are suitable for predicting mono- and dicotyle- erschwinglich machen. Gleichzeitig wurde die Hardware donous plant species. The data obtained from the field optischer Systeme signifikant weiterentwickelt, was sampling were converted into application maps and used neben der sicheren Navigation von UAVs in geringer by the project partners as part of their work packages to Flughöhe (5 m) die Voraussetzung für eine hohe photo- carry out site-specific, selective weed control treatments grammetrische Abbildungsleistung schafft und letztend- with a direct-injection system in practical field trials. lich die artspezifische Erfassung von Einzelpflanzen auf einer Kulturfläche potentiell ermöglicht (PFLANZ & NORD- Key words: Weed detection, weed distribution maps, MEYER, 2016). site-specific crop protection, machine learning, Für die Unkrauterkennung selbst werden zunehmend artificial intelligence, image processing Methoden des maschinellen Lernens adaptiert, die durch eine objektbasierte Klassifikation eindeutiger Merkmale bei der automatischen Bestimmung vieler Unkrautarten Einleitung bereits erste Fortschritte erzielen konnten (PFLANZ et al., 2018b). Diese Ansätze in der Bildanalyse berücksichtigen 122 Unkräuter zählen nach wie vor zu den wichtigsten lokale, invariante Formenmerkmale in hochauflösenden Schadorganismen im Ackerbau, was im Wesentlichen auf Bildaufnahmen, um Unkräuter, Kulturpflanzen und eine starke Konkurrenzwirkung bezüglich Licht-, Wasser- Boden voneinander zu unterscheiden (DYRMANN et al., und Nährstoffaufnahme zurückzuführen ist (MILBERG & 2016) HALLGREN, 2004). Unkräuter sind auf Anbauflächen in der Für die Überführung von wissenschaftlich erprobten Regel nicht homogen verteilt, sondern vielmehr in Clus- Verfahren wurden im Rahmen des Projektes „AssSys“ tern oder Nestern, wodurch die Basis für ein teilflächen- Möglichkeiten der automatisierten Unkrauterkennung spezifisches Unkrautmanagement geschaffen wird. Hier- evaluiert. Ziel war es, möglichst exakte Unkrautvertei- bei kann die Applikation von Herbiziden hinsichtlich lungskarten zu generieren und als Applikationskarten in Aufwandmenge und Herbizidwahl an die räumlich varia- das entwickelte Assistenzsystem zu integrieren. In Feld- blen Unkrautsituationen landwirtschaftlicher Flächen versuchen wurde das System im Hinblick auf den Erfolg angepasst und damit eine Reduzierung der Pflanzen- der differenzierten Unkrautbekämpfung validiert. In die- schutzintensität ermöglicht werden. Voraussetzung für sem Beitrag sollen insbesondere Ergebnisse der For- ein teilflächenspezifisches Unkrautmanagement ist eine schungs- und Entwicklungsarbeiten im Bereich der opti- exakte Erfassung der Unkrautdichte und -arten mit mög- schen Unkrauterfassung dargestellt werden. lichst hoher räumlicher Auflösung (HÄUSLER & NORD- MEYER, 1999; CHRISTENSEN et al., 2003; NORDMEYER, 2006; LÓPEZ-GRANADOS, 2011). Derzeit werden im Wesentlichen Datenerhebung und Kartenerstellung stichprobenartige Feldbegehungen begleitet von manuel- len Unkrautbonituren durchgeführt. Eine umfassende Feld- und Halbfreilandversuche Unkrauterfassung über die gesamte Ackerfläche ist hier- Die Durchführung der Feldversuche erfolgte in den Jah- bei meist nicht realisierbar. Eine höher aufgelöste Daten- ren 2017–2019 auf 4–7 ha großen Versuchsflächen des gewinnung zur Unkrautverteilung könnte dagegen mit Julius Kühn-Instituts und externer Landwirte in Nieder- Hilfe optischer Sensoren im Online-Verfahren (mit sachsen und Sachsen-Anhalt. Es wurden Ackerflächen in Kameras an Schlepper oder Feldspritzgerät) bzw. durch verschiedenen Regionen mit unterschiedlichen klimati- Bildaufnahmen autonom fliegender Sensorplattformen schen Bedingungen und Bodenverhältnissen ausgewählt. (UAV) im sogenannten Offline-Verfahren erreicht wer- Die Versuche wurden ausschließlich in Getreide (Winter- den. Im Ergebnis beider Verfahren werden schlagspezifi- und Sommerweizen, Wintergerste) durchgeführt (WELL- sche Unkrautverteilungskarten generiert, die die Grund- HAUSEN et al., 2019). lage für Applikationskarten bilden und somit eine zielge- Zusätzlich zu den Feldversuchen wurden außerdem naue Applikation von Herbiziden ermöglichen. Halbfreilandversuche in sog. Betonparzellen zur Erstel- Verfahren zur Vegetationsfernerkundung werden in lung von Bildaufnahmen unter kontrollierten Bedingun- der Landwirtschaft bereits seit mehreren Jahrzehnten gen durchgeführt. Dazu wurden einkeim- und zweikeim- genutzt. In der Regel werden Satellitenbilder oder Auf- blättrige Unkräuter im Entwicklungsstadium BBCH 12 in nahmen aus bemannten Befliegungen analysiert, um die unterschiedlichen Kombinationen und Dichten in einen räumliche Variabilität einer landwirtschaftlichen Kultur- zuvor ausgesäten Weizenbestand pikiert. Im Anschluss fläche zu identifizieren und Kulturmaßnahmen (z. B. erfolgte die Bildaufnahme in einem eigens dafür konzi- Düngung) teilflächenspezifisch anzupassen (DOBERS, pierten Gestell, welches Aufnahmen in einer konstanten 2002; KLUGE & NORDMEYER, 2012). Die zeitliche Verfüg- Höhe und unter gleichbleibenden Lichtbedingungen barkeit von Satellitenbildern ist jedoch begrenzt und bie- ermöglichte (PFLANZ et al., 2018a). Die Bildaufnahmen Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart wurden in regelmäßigen Abständen zwei Mal wöchent- Übersichtsarbeit lich durchgeführt, um die Entwicklung der Kulturpflan- zen und Unkräuter abzubilden (Abb. 1). Manuelle Unkrautbonituren Mit Hilfe eines modifizierten Göttinger Zähl- und Schätz- rahmens wurden auf jeweils 0,1 m2 großen Flächenseg- menten und in einem Raster von 12 × 12 bzw. 24 × 24 m die vorhandenen Unkräuter vor dem Beginn der Herbizid- applikation auf den Versuchsflächen des JKIs und betei- ligter Partner bonitiert. Hierzu wurden an jedem Boni- turpunkt georeferenzierte Bildaufnahmen mit einer RGB-Kompaktkamera (Alpha 6000, Sony) erstellt, die in einer fixierten Höhe von 45 cm am modifizierten Zähl- rahmen befestigt war (Abb. 2). Die Brennweite der Kamera war ebenfalls fest eingestellt, sodass die Bildauf- nahmen einen vergleichbar großen Flächenausschnitt aller Boniturpunkte zeigten. Die Belichtungszeit der Bil- der wurde bei vorgegebener Blendenöffnung durch die 123 Kameraautomatik errechnet (WELLHAUSEN et al., 2020). Die Boniturergebnisse wurden direkt über eine App in Echtzeit erfasst und automatisch mit einer GPS-Koordina- te versehen. Somit standen die Boniturdaten sofort in di- gitaler Form über das AssSys – WebPortal zur Verfügung Abb. 2. Modifizierter Göttinger Zähl- und Schätzrahmen mit fest UAV-Befliegung, photometrische Aufnahmen und montierter Kamera zur Bilderfassung und einem Tablet zur Erfassung der GPS-Koordinaten und Unkraut-Boniturdaten. Kartenerstellung Die Klassifikation unterschiedlicher Arten durch die Vegetationserkundung wurde durch hochauflösende Luftbildaufnahmen und merkmalsextrahierende Bildver- RGB-Kompaktkamera (NEX 5N, Sony und Alpha 6000) arbeitung erreicht. Es erfolgte eine Befliegung mit einem Bilder an den Boniturpunkten in einer Flughöhe von 5 m Multicopter (Oktopus, CiS GmbH), bei der mit einer erstellt wurden. ALOMY APESV GALAP MATCH TRZAW VERHE VIOAR SOIL 19.10. 29.10. 12.11. 28.11. Abb. 1. Beispiele der regelmäßigen Bildaufnahmen einkeim- und zweikeimblättriger Unkrautpflanzen und Weizen des Halbfreilandversuchs (dargestellt sind 4 von insgesamt 12 Aufnahmeterminen). Zusätzlich dargestellt sind Aufnahmen der Kategorie Boden (SOIL), die im Aufnahme- zeitraum keine signifikanten Veränderungen der oberflächlichen Bodenstruktur zeigten. ALOMY, Alopecurus myosuroides; APESV, Apera spi- ca-venti; GALAP, Galium aparine; MATCH, Matricaria recutita; TRZAW, Triticum aestivum; VERHE, Veronica hederifolia; VIAOR; Viola arvensis Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart Aus den manuellen Bonituren wurden im Anschluss datensatzes, also der Menge trainierter Bilder und der Übersichtsarbeit Unkrautverteilungskarten mittels der Software Surfer daraus extrahierten Objektmerkmale, abhängig. Wäh- (Golden Software, LLC.) bzw. ArcMap (ArcGIS, esri Inc.) rend bei klassischen Methoden des maschinellen Lernens oder QGIS generiert. Diese schlagspezifischen, georefe- wie z. B. der Erkennung mit Hilfe des Bag-of-visual- renzierten Unkrautkarten dienten als Grundlage für die Words-Ansatzes (BoVW), bereits mit wenigen tausend Erstellung von Applikationskarten für die Feldversuche trainierten Bildern vergleichsweise hohe Erkennungsra- zur Unkrautbekämpfung. ten erreicht werden können, tritt ein robuster Lerneffekt bei den derzeit vielfach verwendeten Convolutional Neu- Teilflächenspezifische Unkrautkontrolle ral Networks (CNNs) erst bei größeren Bilddatensätzen Auf Basis der jeweiligen Unkrautart und -dichte und den je Kategorie ein (KRIZHEVSKY et al., 2017). artspezifischen Schadschwellen wurden auf den Flächen Aus diesem Grund wurden Bilder von typischen Bereiche definiert, in denen eine Anwendung unter- Unkrautsituationen auf den Versuchsfeldern aufgenom- schiedlicher Herbizide mit einer Direkteinspeisungs- men und anschließend manuell am PC annotiert. In der spritze (Herbert Dammann GmbH) oder aber keine hierfür am Institut für Pflanzenschutz in Ackerbau und Anwendung von Herbiziden erfolgte. Die Wirksamkeit Grünland des JKI entwickelten Software (ImageObject- dieser durchgeführten teilflächenspezifischen Unkraut- Locator Version 0.38) können Einzelpflanzen artspezi- bekämpfungsmaßnahmen wurde anschließend kontrol- fisch durch gezielte Platzierung von Markierungen iden- liert und bonitiert. Hierzu wurde 4 bis 6 Wochen nach tifiziert und pixelbasiert verortet werden (Abb. 3). Auf der Applikation ebenfalls durch manuelle Bonitur die Basis der Pflanzenposition erfolgte anschließend eine 124 Verunkrautung mit einem Göttinger Zahl- und Schätz- Segmentierung der Gesamtaufnahme in 200 × 200 Pixel rahmen erfasst (POHL et al., 2020). große Bildausschnitte der einzelnen Unkrautpflanzen (Abb. 4). Die so erzeugten Bilddaten von vereinzelten Auswertung der manuellen Bildaufnahmen Unkräutern bilden den Trainingsdatensatz und umfass- Die Klassifizierungsleistung von neuronalen Netzwerk- ten die Unkrautarten Alopecurus myosuroides (ALOMY), strukturen ist sehr stark von der Größe des Trainings- Matricaria spp. (MATSS), Veronica spp. (VERSS) und Abb. 3. ImageObjectLocator Version 0.38. Benutzeroberfläche mit annotierten Unkrautpflanzen. Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart Übersichtsarbeit 125 Abb. 4. Annotierter Bilddaten- satz (Auswahl) verschiedener Verunkrautungssituationen für die CNN-Klassifikation. Trainiert wurden die Klassen (A) ALOMY, (B) MATSS, (C) SOIL, (D) TRZAW, (E) VERSS und (F) VIOAR. Viola arvensis (VIOAR) sowie Winterweizen (TRZAW) rende Beleuchtungssituationen ausgeglichen werden. und die Hintergrundklasse Boden (SOIL). Signifikante Strukturen eines Bildes werden mit Längen- und Richtungsvektoren beschrieben, die in einer 4x4- Convolutional Neural Networks (CNN) zur automa- Matrix gespeichert sind. tischen Unkrauterkennung Hier wird deutlich, dass je nach Pflanzenart und ver- Eines der Ziele dieser Studie war es, die Eignung von wendetem Feature-Extraktor teils sehr viele beschrei- deep-learning-Algorithmen unter Verwendung von bende Attribute (features) in den Bildern gefunden wer- CNNs den bisher verwendeten klassischen Ansätzen von den. Dies ist für Feldaufnahmen relativ typisch. In der maschinellem Lernen auf Basis des Bag-of-visual-Words Folge müssen Netzwerkstrukturen trainiert werden, die (BoVW) gegenüberzustellen (PFLANZ et al., 2018a). In auch bei einer sehr großen Anzahl an Merkmalen auf ein- Abb. 5 sind beispielhaft einige Bilder (samples) für deutige Muster verallgemeinern können, was bei Vorher- bedeutende Unkrautarten und die häufig vorkommende sagen mit dem Ansatz der Bag-of-Words in der Regel nur Hintergrundklasse Boden (SOIL) dargestellt. Für die bei wenigen zu unterscheidenden Klassen zuverlässig ist. Detektion und Beschreibung lokaler Bildmerkmale mit Bei CNN-trainierten Modellen werden die verschiede- Hilfe des BoVW-Ansatzes wurde zunächst ein Algorith- nen Merkmalsextraktoren (hier als Filter bezeichnet) mus verwendet, der eine skaleninvariante Merkmals- dagegen in verschiedenen Schichten, den Convolution transformation ermöglicht (engl. Scale-invariant feature Layer abgebildet, wodurch eindeutige Muster auch in transform – SIFT). Dies ist erforderlich, da die Orien- einer großen Menge von Features erkannt werden kön- tierung und Größe der gesuchten Unkrautpflanzen im nen. Für die vorliegenden Bilddatensätze der Kategorien Bild sehr unterschiedlich sein kann. SIFT-Deskriptoren ALOMY, MATSS, VERSS, VIOAR und TRZAW, sowie für sind weitestgehend invariant gegenüber Koordinaten- die Hintergrundkategorie SOIL wurden Standard-CNNs transformationen wie Translation, Rotation und Skalie- mit sechs Ebenen (Conv2D-Layer: 32, 32, 64, 128, 256, rung. In begrenztem Umfang können durch SIFT-Trans- 16) in 15 Epochen mit einer BatchSize von 8 trainiert. formationen auch Effekte wie Bildrauschen oder variie- Dies erfolgte mit Hilfe der deep learning-Bibliothek Keras Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart Übersichtsarbeit 126 Abb. 5. Lage gefundener Key- points (gelb) und ihrer SIFT-De- skriptoren (grün dargestellt als 4x4 Geometrie mit Orientie- rung). Zur besseren Anschauung wurden nur 10 zufällig ausge- wählte SIFT-Deskriptoren pro Bildklasse eingezeichnet. A) MATCH, B) VIOAR C), VERHE D) SOIL. (Version 2.2.4) und des Lernframeworks TensorFlow Ausgewählte Projektergebnisse und Diskussion (Version 2.0) unter Python 3.7 (CHOLLET, 2015). Die Generierung der Modelle war auf einer Xeon E5-Work- Feld- und Halbfreilandversuche station mit einer Quadro P4000-Grafikkarte nach etwa Eine erste Validierung der BoVW-Modelle auf einem Test- fünf Stunden abgeschlossen. Das CNN-Vorhersagemodell datensatz von zufälligen Einzelbildern aus den Betonpar- des Trainingsdatensatzes wurde auf einem unabhängi- zellen ergab eine Gesamtgenauigkeit von 82,2 % gen Testdatensatz validiert. (Tab. 1). Für die zweikeimblättrigen Unkrautarten Gali- Tab. 1. Konfusionsmatrix der BoVW-Vorhersage für das Image TestSet. ALOMY, Alopecurus myosuroides; APESV, Apera spi- ca-venti; GALAP, Galium aparine; MATCH, Matricaria recutita; SOIL, Hintergrund; TRZAW, Triticum aestivum; VERHE, Veronica hed- erifolia; VIAOR; Viola arvensis ALOMY APESV GALAP MATCH SOIL TRZAW VERHE VIOAR Recall ALOMY 48 23 3 1 34 4 0 0 0,42 APESV 24 62 0 3 9 9 0 1 0,57 GALAP 1 1 61 3 0 2 2 2 0,85 MATCH 1 1 0 59 6 0 0 0 0,88 SOIL 0 0 0 0 184 0 0 0 1,00 TRZAW 2 2 0 0 0 126 0 0 0,97 VERHE 1 0 0 0 0 0 81 4 0,94 VIOAR 0 1 5 0 2 0 2 66 0,87 Precision 0,62 0,69 0,88 0,89 0,78 0,89 0,95 0,90 82,18 Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart um aparine (GALAP), Matricaria recutita (MATCH), genauigkeit nahm ab, wenn das Entwicklungsstadium Übersichtsarbeit Veronica hederifolia (VERHE) und Viola arvensis (VIAOR) der Pflanzen entweder zu klein oder zu groß war. lag der Anteil an richtig vorhergesagten Ergebnissen Demgegenüber zeigt die Validierung der CNN-trainier- bezogen auf die Gesamtheit aller als positiv vorhergesag- ten Modelle auf dem identischen Bilddatensatz eine ten Ergebnisse (Precision) über 88 %. Die Trefferquote Gesamtgenauigkeit von 95,10 % und liegt damit um etwa (Recall), also der Anteil korrekt als positiv klassifizierter 13 % über dem Ergebnis der BoVW-Klassifizierung. Wäh- Ergebnisse bezogen auf die Gesamtheit tatsächlich posi- rend mit den extrahierten signifikanten Merkmalen der tiver Ergebnisse, lag in den gleichen Kategorien bei über zweikeimblättrigen Unkrautarten mit beiden Lernverfah- 85 %. Bei den einkeimblättrigen Unkrautarten wurde ren Klassifizierungsgenauigkeiten von mehr als 88 % er- eine Genauigkeit von 62 % (Alopecurus myosuroides, reicht werden konnten, war Erkennungsgenauigkeit des ALOMY) und 69 % (Apera spica-venti, APESV) erreicht, verwendeten CNN-Modells bei einkeimblättrigen Un- wohingegen die Trefferquote nur bei 42 bzw. 57 % lag. krautarten sehr viel größer als die der BoVW-Modelle. So Auffällig sind die erzielten Ergebnisse für die Kategorie konnten mit dem CNN-Modell auch einkeimblättrige Un- SOIL. Hier lag die Trefferquote der Vorhersage zwar bei krautarten wie ALOMY und APESV mit einer Genauigkeit 100 %, die Genauigkeit allerdings nur bei 78 %. von mehr als 84 % und mit einer Trefferquote von mehr Darüber hinaus konnte festgestellt werden, dass die als 86 % bestimmt werden. Die Trefferquote für die Kate- Vorhersagegenauigkeit der BoVW-Modelle eine Abhän- gorie SOIL lag unverändert bei 100 %, während für die gigkeit vom Entwicklungsstadium der trainierten Un- Genauigkeit im Vergleich zur Validierung der BoVW-Mo- kräuter und des Weizens zeigt (Abb. 6). Die Vorhersage- delle hier Werte von 98 % erreicht wurden (Tab. 2). Zwar 127 Abb. 6. Abhängigkeit der Vorhersagegenauigkeit sowie der Trefferquote der BoVW-trainierten Modelle vom Entwicklungsstadium von (A) ein- keimblättrigen Unkräutern und Weizen sowie (B) zweikeimblättrigen Unkräutern. ALOMY, Alopecurus myosuroides; APESV, Apera spica-venti; TRZAW, Triticum aestivum; GALAP, Galium aparine; VERHE, Veronica hederifolia; MATCH, Matricaria recutita Tab. 2. Konfusionsmatrix der CNN-Vorhersage für das Image TestSet. ALOMY, Alopecurus myosuroides; APESV, Apera spica-ven- ti; GALAP, Galium aparine; MATCH, Matricaria recutita; SOIL, Hintergrund; TRZAW, Triticum aestivum; VERHE, Veronica hederifolia; VIAOR; Viola arvensis ALOMY APESV GALAP MATCH SOIL TRZAW VERHE VIOAR Recall ALOMY 98 10 0 0 3 2 0 0 0,87 APESV 13 93 0 0 1 1 0 0 0,86 GALAP 0 0 71 1 0 0 0 0 0,99 MATCH 2 0 0 65 0 0 0 0 0,97 SOIL 0 0 0 0 184 0 0 0 1,00 TRZAW 2 0 0 0 0 128 0 0 0,98 VERHE 1 0 1 0 0 0 83 1 0,97 VIOAR 0 0 1 0 0 0 2 73 0,96 Precision 0,84 0,90 0,97 0,98 0,98 0,98 0,98 0,99 95,10 Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart wurden keine vergleichenden Berechnungen ohne die Für die Erprobung eines automatisierten Verfahrens zur Übersichtsarbeit Kategorie SOIL durchgeführt, es sollte aber dennoch Unkrauterkennung wurden die während der manuellen davon auszugehen sein, dass das Trainieren von Merk- Bonitur aus geringer Höhe erstellten Bildaufnahmen malen des Bildhintergrundes dazu beigetragen hat, die genutzt. Die zuvor trainierten deep learning-Algorith- Gesamterkennungsleistung beider Lernverfahren zu men wurden auf diese Bildaufnahmen angewendet und erhöhen. basierend auf dieser automatischen Unkrauterkennung Wie bei der Vorhersage mit BoVW-Modellen ergab sich Vorhersagekarten erstellt. Die in Abb. 8 dargestellten auch bei der Erkennung von Unkrautarten mit CNN-Mo- Vorhersagekarten für zwei der Versuchsflächen zeigen, dellen eine Abhängigkeit vom Entwicklungsstadium der dass sich die getesteten Algorithmen grundsätzlich für Pflanzen (Abb. 6). Diese Abhängigkeit ist bei der Vorher- eine Vorhersage der richtigen Pflanzenart- bzw. Boden- sage durch das trainierte CNN und insbesondere bei den kategorie eignen. Die Flächenanteile für MATSS und zweikeimblättrigen Unkrautarten wesentlich geringer als VIOAR wurden richtig geschätzt, jedoch wurde bei einem bei der Verwendung der BoVW-Modelle. Für die einkeim- geringen Anteil ALOMY der Anteil durch die Modelle blättrigen Unkrautarten ALOMY und APESV lag die deutlich überschätzt. Dies tritt besonders bei der Erkennungsgenauigkeit bei etwa 60 % bzw. 80 % und Betrachtung der Feldrandbereiche auf. veränderte sich im beobachteten Entwicklungszeitraum Um aus den Vorhersagekarten der Aufnahmen der ein- nur unwesentlich (Abb. 7). Die ebenfalls einkeimblättri- zelnen Boniturpunkte ganzflächige Unkrautverteilungs- gen Weizenpflanzen waren jedoch besonders zu Beginn karten zu erstellen, ist neben der Interpolation zwischen der Messungen nicht von ALOMY und APESV zu unter- den Punkten auch eine Umrechnung der vom Modell 128 scheiden. Erst nach zwei Wochen konnten Weizenpflan- geschätzten Flächenanteile (Pixel) zu der Anzahl einzel- zen korrekt identifiziert werden. Bei der Erkennung der ner Unkrautpflanzen je m2 notwendig. Nur so lassen sich zweikeimblättrigen Arten GALAP, VERHE und MATCH die Ergebnisse mit bestehenden Schadschwellenkonzep- lag die Erkennungsgenauigkeit gleich zu Beginn der Mes- ten bearbeiten. Da die hier verwendeten Bildaufnahmen sungen bei mehr als 98 % und sank auch bis zum Ende zudem nur einen geringen Flächenausschnitt widerspie- der vierwöchigen Versuchsreihe nicht auf Werte unter geln, erfolgte als nächster Schritt eine Anwendung der 80 % ab. deep-learning-Algorithmen auf den ebenfalls erstellten UAV-gestützten Luftbildaufnahmen (Abb. 9). Automatische Erstellung von Unkrautverteilungs- Aus den Daten geht hervor, dass die automatische Luft- und Applikationsdaten bildauswertung in weiten Teilen ähnliche Ergebnisse lie- Im Rahmen des Projektes AssSys wurden die Unkrautver- ferte wie die manuelle Bonitur. Eine Verbesserung des teilungskarten und die darauf aufbauenden Applikati- Systems kann also dazu beitragen, die Erhebung von Un- onsdaten auf Basis der manuellen Boniturdaten erstellt krautdichten auf der Ackerfläche erheblich zu beschleu- (WELLHAUSEN et al., 2019, 2020). Da die manuelle Bonitur nigen. von ausreichenden Boniturpunkten aber sehr arbeits- Die in diesem Teilprojekt generierten Ergebnisse wur- und kostenintensiv ist, sollten hier zukünftig automa- den vom JKI-Institut für Anwendungstechnik im Pflan- tische Verfahren z. B. via UAV-Befliegung und automa- zenschutz und dem Partner GID (GeoInformationsdienst tischer Unkrauterkennung genutzt werden, um die Un- GmbH) weiterverarbeitet und in das Assistenzsystem ein- krautverteilung mit ausreichender Präzision zu erfassen. gebunden. Abb. 7. Abhängigkeit der Vorhersagegenauigkeit sowie der Trefferquote CNN-trainierter Modelle vom Entwicklungsstadium von (A) einkeim- blättrigen Unkräutern und Weizen sowie (B) zweikeimblättrigen Unkräutern. ALOMY, Alopecurus myosuroides; APESV, Apera spica-venti; TRZAW, Triticum aestivum; GALAP, Galium aparine; VERHE, Veronica hederifolia; MATCH, Matricaria recutita Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart Übersichtsarbeit 129 Abb. 8. Unkrautklassifizierungsergebnisse der deep learning Algorithmen auf Aufnahmen aus 45 cm Höhe (Zählrahmen) mit (A) hohem An- teil ALOMY und (B) geringem Anteil ALOMY (Wellhausen et al., 2020). VIAOR; Viola arvensis; VERSS, Veronica-Arten; TRZAW, Triticum aestivum; SOIL, Hintergrund; MATSS, Kamille-Arten; ALOMY, Alopecurus myosuroides. Abb. 9. Exemplarischer Vergleich von Verteilungskarten (MATSS und VIOAR) bei manueller Bonitur und Luftbildauswertung (Wellhausen et al., 2020). Ausblick Auch für das Unkrautmanagement stellen sie eine heute interessante Alternative zu bisherigen Erfassungsmetho- Der hier gewählte Ansatz ermöglicht grundsätzlich die den dar. Für den Praxiseinsatz sind jedoch insbesondere Unterscheidung von Unkrautarten auf Ackerflächen. Um bei der Flächenleistung und der automatischen Bilder- eine praxisrelevante Unkrauterkennung umzusetzen, kennung noch weitere Verbesserungen notwendig. muss der Ansatz mithilfe von weiteren Luftbildaufnah- Weitere Schritte werden die Validierung der BoVW- men unter Feldbedingungen evaluiert werden, damit die Modelle auf im Feld gesammelte Bildern beinhalten. Mit natürliche Variabilität auf ackerbaulich genutzten Flä- Daten von verschiedenen Feldern und damit verschiede- chen besser abgebildet werden kann. Flugroboter wer- nen Unkrautarten kann der Kalibrierungsdatensatz den in der Landwirtschaft bereits vielfältig eingesetzt. erweitert werden, so dass eine größere Anzahl von Journal für Kulturpflanzen 73. 2021
Journal für Kulturpflanzen, 73 (5-6). S. 121–130, 2021, ISSN 1867-0911, DOI: 10.5073/JfK.2021.05-06.04 Verlag Eugen Ulmer KG, Stuttgart Unkrautarten erkannt wird. Die klassifizierten Bilder HÄUSLER, A., H. NORDMEYER, 1999: Characterizing spatial and tem- poral dynamics of weed seedling populations. Precision agricul- Übersichtsarbeit werden anschließend zur Erstellung von Unkrautvertei- ture '99, Part 1 and Part 2. Papers presented at the 2nd European lungskarten verwendet. Conference on Precision Agriculture, Odense, Denmark, 11-15 Künstliche Neuronale Netze und KI werden sich in den July 1999, 463-472. KLUGE, A., H. NORDMEYER, 2012: Verfahren der Bildanalyse zur kommenden Jahren weiterentwickeln, weshalb davon Unkrauterkennung in Getreide: Procedures of image analysis for ausgegangen werden kann, dass sich das Fachgebiet Bild- weed recognition in cereals. Julius-Kühn-Archiv (434), 235–242, und speziell Unkrauterkennung schnell weiterentwickeln DOI: 10.5073/jka.2012.434.000. KRIZHEVSKY, A., I. SUTSKEVER, G.E. HINTON, 2017: ImageNet classifica- wird. Dafür spricht ebenfalls, dass zunehmend Bildda- tion with deep convolutional neural networks. Communications tensätze veröffentlicht werden, die es in ihrer Gesamtheit of the ACM 60 (6), 84–90, DOI: 10.1145/3065386. LÓPEZ-GRANADOS, F., 2011: Weed detection for site-specific weed ma- erlauben größere Trainingsdatensätze zu nutzen und nagement: mapping and real-time approaches. Weed Research 51 eigene Datensätze zu verfeinern. Dies wird mittelfristig (1), 1-11. MILBERG, P., E. HALLGREN, 2004: Yield loss due to weeds in cereals and zu einer weiteren Leistungssteigerung in der Unkrauter- its large-scale variability in Sweden. Field Crops Research 86 kennung führen. (2-3), 199–209, DOI: 10.1016/j.fcr.2003.08.006. NORDMEYER, H., 2006: Patchy weed distribution and site-specific weed control in winter cereals. Precision Agriculture 7 (3), 219– 231, DOI: 10.1007/s11119-006-9015-8. Danksagung PFLANZ, M., H. NORDMEYER, 2016: Automatisierte Unkrauterkennung auf dem Acker – Möglichkeiten und Grenzen. Julius-Kühn-Archiv (452), 241, DOI: 10.5073/jka.2016.452.033. Die Förderung des Vorhabens erfolgt (bzw. erfolgte) aus PFLANZ, M., H. NORDMEYER, M. SCHIRRMANN, 2018a: Weed Mapping Mitteln des Bundesministeriums für Ernährung und with UAS Imagery and a Bag of Visual Words Based Image Clas- 130 sifier. Remote Sensing 10 (10), 1530, DOI: 10.3390/rs10101530. Landwirtschaft (BMEL) aufgrund eines Beschlusses des PFLANZ, M., M. SCHIRRMANN, H. NORDMEYER, 2018b: Räumlich hoch- Deutschen Bundestages. Die Projektträgerschaft erfolgt auflösende Unkrauterkennung mittels Flugroboter und merk- malsextrahierender Bildverarbeitung. Julius-Kühn-Archiv 458, (bzw. erfolgte) über die Bundesanstalt für Landwirt- 379–384, DOI: 10.5073/JKA.2018.458.056. schaft und Ernährung (BLE) im Rahmen des Programms POHL, J.P., D. VON HÖRSTEN, J.K. WEGENER, B. GOLLA, I. KARPINSKI, S. zur Innovationsförderung. RAJMIS, C. SINN, H. NORDMEYER, C. WELLHAUSEN, B. KLEINHENZ, M. HERRMANN, H. DUNEKACKE, A. MATTHIESEN, F. VON BARGEN, D. JAHN- CKE, D. FEISE, M. RÖHRIG, R. SANDER, 2020: Assistance system for the site-specific use of herbicides. Julius-Kühn-Archiv (464), 216– 221, DOI: 10.5073/jka.2020.464.033. Interessenskonflikte WELLHAUSEN, C., M. PFLANZ, J.-P. POHL, H. NORDMEYER, 2019: Auto- matic weed recognition for site-specific herbicide application. The 12th European Conference on Precision Agriculture: 8-11 July Die Autoren erklären, dass keine Interessenskonflikte 2019, Montpellier, France; Book of abstracts of all the Posters, vorliegen. 196-197. WELLHAUSEN, C., M. PFLANZ, J.-P. POHL, H. NORDMEYER, 2020: Gene- rierung von Unkrautverteilungskarten auf der Basis automati- scher Annotierungen in Feldaufnahmen. Julius-Kühn-Archiv Literatur (464), 222, DOI: 10.5073/jka.2020.464.034. CHOLLET, F., 2015: keras. Zugriff: 7. Januar 2021, URL: https://github. com/fchollet/keras. © Der Autor/Die Autorin 2021. CHRISTENSEN, S., T. HEISEL, A.M. WALTER, E. GRAGLIA, 2003: A decision Dies ist ein Open-Access-Artikel, der unter den Bedin- algorithm for patch spraying. Weed Research 43 (4), 276–284, gungen der Creative Commons Namensnennung 4.0 International DOI: 10.1046/j.1365-3180.2003.00344.x. Lizenz (CC BY 4.0) zur Verfügung gestellt wird DOBERS, E.S., 2002: Methoden der Standorterkundung als Grund- (https://creativecommons.org/licenses/by/4.0/deed.de). lage des DGPS-gestützten Ackerbaus eine Fallstudie aus dem Löss- gebiet des Mittleren Fläming. Dissertation, Universität Göttingen - Inst. für Bodenwiss. © The Author(s) 2021. DYRMANN, M., H. KARSTOFT, H.S. MIDTIBY, 2016: Plant species classi- This is an Open Access article distributed under the fication using deep convolutional neural network. Biosystems terms of the Creative Commons Attribution 4.0 International License Engineering 151, 72-80. (https://creativecommons.org/licenses/by/4.0/deed.en). Journal für Kulturpflanzen 73. 2021
Sie können auch lesen