Automatische Parameterextraktion aus hochauflösenden Laserscans - ein wichtiger Schritt bei der Phänotypisierung

Bornimer Agrartechnische Berichte  Heft 60                          1

Automatische Parameterextraktion aus hochauflösenden Laserscans – ein
wichtiger Schritt bei der Phänotypisierung

Stefan Paulus1, Jan Dupuis1, Henrik Schumann2, Heiner Kuhlmann1
1
    Institut für Geodäsie und Geoinformation, Professur für Geodäsie, Universität Bonn
    Nussallee 17, 53115 Bonn, Germany, e-mail: paulus@igg.uni-bonn.de
2
    Institut für Nutzpflanzenforschung und Ressourcenschutz INRES, Professur Pflanzenzüchtung,
    Katzenburgweg 5, 53115 Bonn

Zusammenfassung:
Die hochgenaue 3D Vermessung von Pflanzen und deren Einzelorganen ist ein wichtiger Schritt in
der Phänotypisierung. Neben Stereo-Vision-Systemen werden dazu verstärkt Laserscanner benutzt,
da diese, neben einer hohen Auflösung und einer schnellen Datenerfassung, sehr hohe Einzelpunkt-
genauigkeiten liefern. Diese sind nötig, wenn zeitlich und räumlich hochaufgelöste Wachstumsdi-
agnosen erstellt werden sollen. Solche 3D-Aufnahmen resultieren in großen Datenmengen und be-
dürfen komplexer Auswertealgorithmen, um effizient und präzise Parameter ableiten zu können.
Speziell im Hinblick auf die Anwendung in der Hochdurchsatzphänotypisierung ist die automati-
sierte Parameterextraktion ein wichtiger Schritt, um die großen Datenmengen zu verwerten und den
Anteil an manueller Arbeit gering zu halten.

In der vorliegenden Studie wird die Vermessung von Gerste über einen Zeitraum von 21 Tagen
mittels eines Messarm-gestützten Laserscanners zur Erstellung hochpräziser 3D Punktwolken ge-
zeigt. Diese Messungen werden mittels abgeleiteter Geometriefeatures und dem Einsatz von Sup-
port Vector Machines automatisiert segmentiert und den Einzelorganen zugeordnet. Die Parametri-
sierung der Einzelorgane bspw. der Blattflächen ermöglicht die Erstellung von zeitlich und räumlich
hochaufgelösten Wachstumszeitreihen. Somit wird die Voraussetzung für die Analyse von Stress-
verhalten oder der Erstellung von Ernteprognosen ohne Zusatz von Modellwissen geschaffen.
Der vorgestellte Ansatz beschreibt eine neuartige Möglichkeit der Segmentierung und Zuordnung
von 3D Punktwolken zu Einzelorganen bei Pflanzen. Durch die Anwendbarkeit unabhängig von
Pflanzenorgan und Sensortechnik ist der Ansatz breit einsetzbar und lässt sich in bereits bestehende
Online-Messverfahren in Phänotypisierungslabors integrieren.

2                                   Paulus, Schumann, Kuhlmann

Deskriptoren: 3D-laserscanning, surface feature histogram, automatische Klassifikation, Phänotypi-
sierung, Hochdurchsatz

Abstract:
High precision 3D measuring of plants and its single organs is an important step in phenotyping.
Beside stereo vision systems the use of laserscanning systems rises due to their high resolution, the
direct data acquisition and the high precision of the single measurements. This is important to create
a temporally and spatially high resolved growth analysis. These 3D measurements result in huge
amounts of data and require complex algorithms for analysis to extract parameters precisely and
efficient. With regard to the use in high throughput phenotyping the automated extraction of param-
eters is an important step. Thus the huge amount of data can be processed and the percentage of
manual work can be minimized.

The presented study shows the measuring of barley over a time period of 21 days using a measuring
arm mounted laserscanning device. A high precision 3D point cloud is created. These point clouds
were segmented automatically using derived 3D geometry features and Support Vector machines
(SVM) and allocated to the single organs. The parameterization of these single organs, here the leaf
area, enables the creation of temporal and spatial highly resolved growth time series. It depicts the
requirements for the analysis of stress.
The introduced approach describes a novel technique for segmentation and allocation of 3D point
clouds to single plant organs. The applicability works independent of plant organs or the used sen-
sor, thus it is universally applicable and can be integrated in existing online-measurement solutions
for phenotyping.

Keywords: 3D-laserscanning, surface feature histogram, automatic classification, plant phenotyping,
high throughput

1      Einleitung
Die hochgenaue und automatisierte 3D-Vermessung von Pflanzen und deren Einzelorganen ist ein
wichtiger Schritt in der Phänotypisierung. Zur Vermessung werden in der Regel Laserscanner
(Omasa et. al. 2007), Stereo Kamerasysteme (Paproki et al., 2011) oder Time of Flight-Kameras

Bornimer Agrartechnische Berichte  Heft 60                           3

(Alenya et. al. 2011) verwendet. Um Organe in ihrem zeitlichen Verlauf beobachten zu können, ist
eine hohe Auflösung und eine hohe Einzelpunktgenauigkeit von wesentlicher Bedeutung. Nur so
können zeitlich und räumlich hochaufgelöste Wachstumsdiagnosen erstellt werden, wie sie für die
grammatikbasierte Modellierung von Pflanzensystemen (Gärtner et. al. 2009) oder die Züchtung
von trockenstressresistenten Pflanzen (Omasa et al., 2007) wichtig ist.
Diesen Ansprüchen genügen Systeme, die automatisiert hochgenaue Einzelmessungen von La-
serscannern fusionieren. Durch eine hohe Anzahl von Messungen und der Vielzahl von Einzel-
standpunkten können weitestgehend verdeckungsfreie 3D Darstellungen aufgenommen werden.
Das notwendige Tracking der Scanpositionen kann dabei durch die Benutzung von Lasertrackern,
Positionierungszielzeichen oder durch die Benutzung von Messarmen durchgeführt werden (Paulus
& Kuhlmann, 2011; Wagner & Gärtner, 2009). Diese Systeme nehmen Punkte mit einer Auflösung
von wenigen 10µm auf und genügen damit den Ansprüchen an die Auflösung der Punktwolke. Die
dabei entstehenden Datenmengen sind sehr groß, und es bedarf komplexer Auswertealgorithmen,
um effizient und präzise das Wachstum der Einzelorgane zu verfolgen. Das Zuordnen der Messwer-
te zu den Einzelorganen, die Klassifikation, erfolgt in der Literatur manuell (Frasson & Krajewski,
2010) oder auf einer vorprozessierten Triangulation (Mesh). Bei letzterem werden Oberflächenpa-
rameter, Shapefitting- und Symmetrieansätze zur Klassifikation benutzt (Paproki et al., 2011).
Mesh-basierte Ansätze brauchen eine qualitativ hochwertige Triangulierung. Speziell im Nahbe-
reich führen schlechte Oberflächeneigenschaften, bedingt durch Eindringeffekte, zu hohem Mess-
rauschen, das im Bereich der Punkt zu Punktauflösung des Scanners liegt. Dies führt zu großen
Schwierigkeiten beim Zusammensetzen der Einzelmessungen und zu Ausreißern in der Punktwolke
und somit zu schlechten Triangulierungen.
Ein Ansatz aus der Robotik benutzt reine Punktnachbarschaften, um Oberflächenmerkmale zu be-
rechnen, die dann mittels Machine Learning Methoden klassifiziert werden (Rusu et. al. 2009; Rusu
et. al. 2008). Dieses Verfahren wurde auf niedrig aufgelösten Punktwolken angewendet, um Primi-
tive wie Kegel, Kugeln und Ebenen zu klassifizieren. Dazu werden Histogramme für Trainingsober-
flächen erstellt, die die Oberflächeneigenschaften wie z.B. Krümmung oder Stellung der Normalen
codieren. Folgend wird die Übertragung dieser Methode zur Klassifikation von Pflanzenorganen
gezeigt. Die Ergebnisse zeigen eine qualitativ hochwertige Klassifikation und ermöglichen eine
robuste und automatisierte Prozessierung von nicht invasiv gemessenen, hochgenauen Punktwolken
von Gerste.

4                                Paulus, Schumann, Kuhlmann

2      Material und Methoden
Scanner:
Um ein komplettes und verdeckungsfreies 3D Modell einer Pflanze erzeugen zu können, sind viele
Aufnahmen aus verschiedenen Blickwinkeln nötig. Dafür muss entweder der Sensor oder das Ob-
jekt bewegt werden (Paulus & Kuhlmann, 2011). Für Pflanzen eignet sich besonders eine Verände-
rung der Scannerposition, da störende Bewegungen oder gar die Neuanordnungen der Pflanzenor-
gane vermieden werden. Um die Einzelscans miteinander zu fusionieren, muss die Position des
Sensors zu jedem Aufnahmezeitpunkt bekannt sein. Zu diesem Zweck wurde eine Laserscanner-
Messarmkombination gewählt, um automatisiert Einzelscans zusammenzufassen (Abb. 1 A&B).
Der Laserscanner vom Typ Perceptron V5 ist ein Linienlaser mit einer Punktauflösung von
0,0137mm. Kombiniert mit einem Messarm Infinite 2.0 (2,8m Messradius) der Firma Romer ist
eine Einzelpunktgenauigkeit von bis zu 45µm erreichbar.

Zur Trennung der verschiedenen Organe müssen klassenspezifische Merkmale berechnet werden.
Dies kann nur mit Hilfe der Geometrie der Punktnachbarschaft geschehen, da Laserscanner typi-
scherweise nur reine XYZ-Punktwolken exportieren. Um Klassifikationstechniken wie Support
Vector Machines (SVM) oder ähnliches zu benutzen, müssen geeignete Merkmale zur Klassifikati-
on berechnet werden.

Bornimer Agrartechnische Berichte  Heft 60                             5

Abb. 1) Perceptron V5 Laserscanner kombiniert mit Romer Messarm Infitinite 2.0 (A) und La-
serscan von Gerste (B)

Oberflächenfeatures
Die Punktwolke besteht ausschließlich aus 3D-Punkten ohne Zusatzinformation wie bspw. Norma-
lenvektoren. Diese jedoch sind grundlegend für die Verwendung von Histogrammen und werden
daher aus der Kovarianzmatrix der Nachbarschaftspunkte berechnet. Für die Berechnung werden
alle Punkte im Radius rN um den Quellpunkt berücksichtigt. Analog dazu werden zur Berechnung
der Histogramme die Punkte im Radius rH vom Quellpunkt betrachtet. Je größer rH und rN, desto
mehr Punkte aus der Nachbarschaft werden für die Berechnung des Histogramms bzw. der Norma-
len einbezogen. Sehr kleine Histogramm- und Normalenradien führen zu einer guten Repräsentation
der lokalen Oberfläche, aber auch zu einer hohen Sensitivität gegenüber Messrauschen; hohe Radi-
en hingegen zu einer Glättung des Histogramms und zu einer hohen Toleranz gegenüber Ausrei-
ßern. Typische Ausprägungen von Histogrammen für Primitive wie Kugel, Zylinder und Ebene sind
in Abb. 2 gezeigt. Zu sehen sind signifikante Unterschiede in der Besetzung der Histogrammbins.

6                                    Paulus, Schumann, Kuhlmann

Abb. 2) 3D Punktwolken mit zugehörigem Histogramm für eine Ebene (A,D), Kugel (B,E) und
Zylinder (C,F)

Berechnung der Merkmale
Zur Berechnung der Oberflächenmerkmale eines Quellpunktes wird jeweils ein weiterer Nachbar-
punkt betrachtet, die lokale Oberflächengeometrie berechnet und in das Histogramm eingefügt. Für
alle weiteren Punkte im Radius rH des Quellpunktes wird dies wiederholt.
Die Merkmale beschreiben:

                f 0 : Repräsentation des Cosinus der Polarwinkel
                f 1 : Repräsentation des Richtung und Länge der Translation zwischen. den Punkten
                f 2: Messung der azimuthalen Winkel.

Berechnung der zugehörigen Histogrammbins
Jede Merkmalskombination wird genau einem Histogrammbin zugeteilt. Formel 1 zeigt die Be-
rechnung, wobei b die Anzahl der Unterteilungen pro Feature angibt und somit die Größe der His-
togramme beschreibt.

Bornimer Agrartechnische Berichte  Heft 60                           7

                                   Formel 1: Berechnung der Histogrammbins

Für jeden Punkt der Punktwolke ist nun ein Histogramm vorhanden, welches die Geometrie um den
Punkt im Radius rH beschreibt. Diese Einzelhistogramme werden in einem zweiten Schritt punkt-
weise gewichtet zusammengefasst. Dies trägt dazu bei, die Toleranz gegenüber Ausreißern zu erhö-
hen und schafft deutlich homogenere Histogramme in Regionen ähnlicher Geometrie. Das gewich-
tete Histogramm für den Punkt p berechnet wie in Formel 2 gezeigt.

              Formel 2: Gewichtung des Histogramm mit den Histogrammen der Punkte der Umgebung.

ω ist ein entfernungsabhängiges Gewicht, das die Bedeutung der Histogramme von weit entfernten
Punkten gegenüber nahen Punkten verkleinert. N beschreibt die Anzahl der Nachbarn in der Umge-
bung, wie sie durch den Radius rH festgelegt sind.

SVM und Trainingsdaten
Zur Klassifikation wurde die LibSVM-Toolbox für Matlab (Chang & Lin, 2011) benutzt. Als Trai-
ningsdaten wurden exemplarisch eine Pflanze manuell in die Klassen "Blatt" und "Stängel" sepa-
riert und als Trainingsdatensatz für die weiteren Pflanzenpunktwolken benutzt. Für die manuelle
Klassifikation und Separierung sowie die Approximation der Nurbsflächen wurde das 3D-Tool Ge-
omagic Studio (Raindrop Geomagic, Inc. 2012) benutzt. Die berechneten Histogramme für Blatt
und Stängel sind in Abb. 3 zu sehen. Während das Histogramm des Blattes einen charakteristischen
hohen Peak in der Mitte besitzt, hat das Histogramm des Stängels mehrere kleinere Peaks und be-
legt eine höhere Anzahl von Histogrammbins.

8                                Paulus, Schumann, Kuhlmann

Abb. 3) Surface Feature Histogramme als Kodierung der Oberfläche für Gersteblatt (A) und
Stängel (B)

3        Ergebnisse und Diskussion
Die beschriebenen Histogramme zeigen gut differenzierbare Charakteristika für die Klassen Blatt
und Stängel bei Gerste (Abb. 3 A&B). Angewendet auf eine Punktwolke (Abb. 4 A) zeigt die Klas-
sifikation mittels SVM auf den Geometriedaten gute Ergebnisse von über 90% Genauigkeit. Da die
histogrammbasierte Klassifikation jeden Punkt einzeln klassifiziert, kommt es zu Einzelpunkten und
Kleinstregionen mit falschem Klassenlabel. Mittels Region-Growing lassen sich diese kleinen Re-
gionen automatisiert den größeren Regionen zuordnen. In begleitenden Experimenten hat sich die-
ses Vorgehen bewährt. Das Ergebnis der histogrammbasierten Klassifikation mittels SVM zusam-
men mit einem Region Growing zum Korrigieren von Falschklassifikationen ist in Abb. 4 (B) zu
sehen.

Bornimer Agrartechnische Berichte  Heft 60                           9

Abb. 4) : Unklassifizierte Rohdaten der Gerste (A),erste Klassifizierung mit SVM (B) in die
Klassen Blatt (grün) und Stängel (blau) mit Region Growing und Extraktion der Blattpunkte (C)

Mit der gezeigten Methodik lassen sich automatisiert Einzelorgane (Abb. 4 C) von Gerste extrahie-
ren. Abgeleitete Parameter ermöglichen das Beobachten von Entwicklung und Verhalten bei verän-
derten Umweltbedingungen. In Abb. 5 (A) ist der zeitliche Wachstumsverlauf der Blätter von Gers-
te gezeigt. Die klassifizierte Punktwolke wurde dazu von den Stängelpunkten befreit und die Blatt-
fläche durch Nurbs-Freiformflächen approximiert. Die Blattfläche kann nun in ihrem zeitlichen
Verlauf beobachtet werden.

Die Beschreibung der Pflanzengeometrie mittels Histogrammen kann auch für das Tracking von
Einzelorganen benutzt werden. Die Bestimmung der Blattfläche der Gesamtpflanze ist zusammen-
gesetzt aus den verschiedenen Einzelnurbsflächen, die den einzelnen Blättern zuzuordnen sind.
Dadurch ist für jedes Einzelblatt die Blattfläche bestimmbar. Nimmt man die Zuordnung der Orga-
ne über die Zeit als gegeben an, z.B. durch gleichbleibende Messkonfiguration, kann die Entwick-
lung von Einzelorganen über die Zeit verfolgt werden. Die resultierende Wachstumskurve für ein
einzelnes Blatt ist in Abb. 5 (B) zu sehen. Neben einem monotonen Wachstum bis zum Tag 10,
gefolgt von einer Wachstumsstagnation, ist am Tag 19 deutlich ein Sprung zu sehen mit einer Ver-
kleinerung der Blattfläche im Vergleich zur letzten Messung. Diese Sprünge bzw. die Änderung in
der Blattfläche sind abhängig von der Genauigkeit der Klassifikation. Gerade beim Übergang zwi-
schen Blatt und Stängel ist dies besonders schwierig, da das Blatt zusammengerollt ist und in der
Form ähnlich dem Stängel ist.

10                                Paulus, Schumann, Kuhlmann

Abb. 5) Vergleich der Messungen der Blattfläche über die Zeit automatisiert und manuell (A)
und die Verfolgung des Wachstums eines Blattes über 21 Tage (B)

4.     Conclusio

Die automatisierte Parametrisierung von 3D Punktwolken wurde anhand von Gerste-
laseraufnahmen gezeigt. Mittels rotations- und skalierungsinvarianten Oberflächenmerkmalen und
der Klassifikation durch Support Vector Machines wurde eine Zuordnung der Punkte mit einer Ge-
nauigkeit von über 90% erreicht. Diese hohe Klassifikationsgenauigkeit der Histogramme ermög-
licht die Ableitung von Parametern zur Beschreibung der Pflanzengeometrie. Es können Wachs-
tumszeitreihen erstellt werden, die die Entwicklung der Geometrie der Gesamtpflanze sowie der
Geometrie der Einzelorgane beschreiben. Somit ist eine effiziente Möglichkeit gegeben, Wachstum
und Einwirkungen der Umwelt auf die Geometrie tempo-spatial hochaufgelöst zu beobachten.

5      Referenzen
Alenya, D. Dellen, B., & Torras, C. (2011). 3D modelling of leaves from color and ToF data for
    robotized plant measuring. Conference on Robotics and Automation (ICRA), 2011 IEEE
    International, 3408–3414.

Chang, C. C., & Lin, C. J. (2011). LIBSVM : a library for support vector machines. Transactions on
    Intelligent Systems and Technology, 27:1–27.

Frasson, R. P. D. M., & Krajewski, W. F. (2010). Three-dimensional digital model of a maize
     plant. Agricultural and Forest Meteorology, 150(3), 478–488.

Gärtner, H., Wagner, B., Heinrich, I., & Denier, C. (2009). 3D-laser scanning : a new method to
    analyze coarse tree root. ISSR symposium Root Research and Applications, 106, 95–106.

Bornimer Agrartechnische Berichte  Heft 60                            11

Omasa, K., Hosoi, F., & Konishi, A. (2007). 3D lidar imaging for detecting and understanding
   plant responses and canopy structure. Journal of experimental botany, 58(4), 881–98.

Paproki, A., Fripp, J., Salvado, O., Sirault, X., Berry, S., & Furbank, R. (2011). Automated 3D
    Segmentation and Analysis of Cotton Plants. 2011 International Conference on Digital
    Image Computing: Techniques and Applications, 555–560.

Paulus, S., & Kuhlmann, H. (2011). Nahbereichsscanning - Messprinzipien und
    Einsatzmöglichkeiten bei Nutzpflanzen. Schriftenreihe DVW, Band 66 „Terrestrisches
    Laserscanning - TLS 2011 mit TLS-Challenge“ (pp. 17–30). Wißner Verlag.

Rusu, R. B., Blodow, N., & Beetz, M. (2009). Fast Point Feature Histograms (FPFH) for 3D
    registration. Proceedings of the IEEE International Conference on Robotics and Automation
    (ICRA), Kobe, Japan, 3212–3217.

Rusu, R. B., Marton, Z. C., Blodow, N., & Beetz, M. (2008). Persistent Point Feature Histograms
    for 3D Point Clouds. Proceedings of the 10th International Conference on Intelligent
    Autonomous Systems (IAS-10), Baden-Baden, Germany.

Wagner, B., & Gärtner, H. (2009). 3-D Modeling of tree root systems - a fusion of 3-D Laser
   scans and 2-D tree-ring data. Symposium A Quarterly Journal In Modern Foreign
   Literatures, 2–4.

Danksagung

Die Arbeiten wurden durch das BMBF Projekt "CROP.SENSe.net" (Nr. 0315529) geför-
dert.