Mobile.de realisiert Erstellung von Händlerdokumenten mit Talend
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Mobile.de
realisiert
Erstellung
von
Händlerdokumenten
mit
Talend
Einführung
/
Herausforderungen
Als Deutschlands größter Fahrzeugmarkt hat mobile.de umfassende Angebots- und Nachfragedaten,
die die aktuellen Entwicklungen des Automarktes abbilden. Mit dem Geschäftsbereich Automotive
Intelligence stellt mobile.de diese Marktdaten den Autohändlern zur Verfügung. Damit können sie
besser einschätzen, zu welchen Konditionen Inzahlungnahmen sinnvoll sind, wie die
Preispositionierung der Fahrzeuge ist, etc. Die Vergleichszahlen und eine konkrete
Handlungsempfehlung für jedes Fahrzeug helfen dem Handel dabei, noch schneller und erfolgreicher
Autos zu verkaufen.
Bestandsanalyse: Überblick
Jasper$Report:Design$und$Excel:Vorlagen$
Marke?ng:$ Analysereports$
Kunden&Nr.*+*
Reportparameter*
Excel&
Mehrstufige$parallele$
Verarbeitung$
PDF&
xml$
DWH$
Live:,$Historiendaten$und$Bilder$
Reportdaten$Rücklauf$zum$Marke?ng$ Email:Versand$
Bild 1: Übersicht über die Verarbeitung und den Datenfluß
Der gesamte Prozess zur Ermittlung der Kennzahlen und Zusammenstellung der notwendigen
Ressourcen sowie die Erstellung der Dokumente wird mit Talend Jobs erledigt.
Im Talend Administration Center haben die Mitarbeiter jederzeit die Kontrolle über den
Verarbeitungsprozess.
Herausforderungen in diesem Projekt:
1. Geringe Verarbeitungszeiten und Skalierbarkeit
2. Kontrolle des Gesamtprozesses im Talend Administration Center
3. Erstellung von Excel- und PDF Dateien basierend auf Templates mit interaktiven Inhalten
4. Toleranz gegenüber zeitweise eingeschränkt verfügbaren Ressourcen (automatische
Wiederholung)
1
Realisierung
Hoher
Durchsatz
durch
Parallelisierung
Die Durchlaufzeit pro Kunde wurde durch Parallelisierung verringert. Die einzelnen
Verarbeitungsschritte können parallel ablaufen. Die Steuerung prüft auf das Vorhandensein von
weiteren Arbeitseinheiten (Kundenanalysen erreichen den jeweiligen Start-Zustand).
Innerhalb eines Verarbeitungsschrittes können beliebig viele Kundenanalysen parallel verarbeitet
werden.
Bestandsanalyse: Parallelverarbeitung
1.#Neu# 2.#KPIs# 3.#Bilder# 4.#Report#
ermi/elt# geladen# erstellt#
Request#
Erkennt#Request#
Startet#Task#
Startet#Jobinstanzen#
Step#Task#
Step#Task#
Step#Task#
Jobinstanz#
Parallel
Kontrolle
des
Gesamtprozesses
in
der
TAC
Die im Vorfeld erforderlichen ETL-Ladeprozesse und dieser Prozess für die Erstellung der Händler-
Analyse-Dokumente müssen als Einheit betrachtet werden und nur ganzheitliche Kontrolle in der TAC
sichert die Konsistenz der Dokumente.
Die konkrete Implementierung der Verarbeitungssteuerung bedient sich der Möglichkeit der TAC über
RESTfull Webservices Tasks zu starten. Diese Funktion wurde in der Custom-Component tRunTask
gekapselt.
Bestandsanalyse: TAC Tasks triggern
Bild 4: Zusammenspiel Steuerungs-Task und Task für die Einzelschritt-Verarbeitung.
In diesem Zusammenhang kann auch gleich auf den Vorteil der separierten Task für die
Gesamtaufgabe verwiesen werden. Mit dieser Architektur kann ein einzelner Schritt aktualisiert
werden ohne dass das Gesamtsystem komplett aktualisiert werden muss. Das verbessert die
Stabilität und Transparenz da die Einzelschritte in separierten Prozessen ausgeführt werden und die
Logausgaben sich nur auf einen Schritt geziehen.
Die einzelnen Tasks verursachen eine vergleichbare Last. Die horizontale Lastverteilung erfolgt durch
den Einsatz eines virtuellen Jobservers der die Last auf die konkreten Jobserver verteilt.
3
Template
basierte
Reporterstellung
Für die Erstellung der PDF Dokumente wird als Design-Tool JasperStudio der Firma TIPCO
eingesetzt. JasperStudio bietet eine komfortable wysiwyg Oberfläche und mit der JasperLibrary bietet
TIPCO eine hervorragende Möglichkeit die Reporterstellung in die eigene Anwendung zu integrieren.
In diesem Fall wurde die einfache Möglichkeit von Talend durch Custom-Components das
Funktionsspektrum zu erweitern für die Einbindung der JasperLibrary genutzt.
Bestandsanalyse: PDF-Report erstellen
KPIs'
Vehicle'Images'
Design'JRXML'Datei'
PDF'Report'
Bild 5: PDF-Report Erstellung basierend auf JasperReport Design und tJasperReportExec
Für die PDF Erstellung wurde die Custom-Component tJasperReportExec verwendet.
Diese bietet den Komfort dass die JasperReport Design-Vorlagen automatisch kompiliert werden und
aus dem ETL-Prozess die notwendigen Parameter für die Reporterstellung gewonnen werden können.
4
Bestandsanalyse: Excel-Report erstellen
Excel&Vorlage,
Exceldatei,mit,Formeln,
und,bedingter,Forma5erung,
Bild 6: Erstellung des Excel-Reports
Die Excel-Vorlagen enthalten Formatierungsinformationen wie Farbwechsel und bedingte
Formatierungen. Die Verarbeitung schreibt die Daten und wendet die Formatierungen auf die
geschriebenen Zellen an. Zudem werden noch Formeln eingefügt.
Für diese Aufgabe wurden die Custom-Components:
tFileExcelWorkbookOpen,
tFileExcelSheetOutput,
tFileExcelNamedCellOutput und
tFileExcelWorkbookSave verwendet.
Toleranz
gegenüber
zeitweise
eingeschränkter
Verfügbarkeit
von
externen
Ressourcen
Im Rahmen dieses Projektes wurden Schnittstellen verwendet, die selbst sehr starken
Lastschwankungen ausgesetzt sind.
Daher kam es zu zeitweisen Abweisungen von Requests. Eine Wiederholung nach einer kurzen
Wartezeit löst das Problem zumeist.
Mit einer entsprechenden Status-Vorhaltung pro Jobinstanz wird die Wiederholung gezielt gestartet.
Der manuelle Wartungsaufwand wird somit auf ein Minimum reduziert. Normale Ausfälle die das
System selbsttätig löst werden den Administratoren nicht signalisiert. Nur wenn eine Wiederholung
fehl schlägt wird ein Alarm ausgelöst.
In der TAC sind diese Kurzzeitausfälle im Log nachvollziehbar.
5
Kennzahlen
zum
Projekt
Das Projekt wurde innerhalb von 4 Monaten entwickelt, getestet und in Produktion gebracht.
Der Aufwand betrug ca. 2 Mannmonate.
Zum Start des Projektes war beim Kunden die Talend Release 5.1.3 aktuell.
Dieses Projekt ist eines der ersten die im Rahmen der Migration zu 5.4.2 umgestellt wurden.
Die verwendeten Komponenten wurden teilweise für dieses Projekt erweitert und sind in Talend
Exchange frei verfügbar.
http://www.talendforge.org/exchange
JasperStudio ist als Community Edition frei verfügbar unter:
http://www.jaspersoft.com
Kontakt:
eBay Mobile.de
Michael Schulz: micschulz@ebay.de
cimt objects AG:
Jan Lolling: jan.lolling@cimt-ag.de
6
Sie können auch lesen
