Die schnellste analytische Datenbank der Welt - White paper Business
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
White paper Business
Die schnellste
analytische Datenbank
der Welt
White paper Business
Inhalt
Die schnellste analytische
Datenbank der Welt
01
Einleitung 3
02
Was genau ist Exasol? 6
03
Nutzen 11
Merkmale 4 Core Architektur 8
Weitere Merkmale 9
04
Einsatznutzen 13
05
Fazit 15
01
White paper Business 3
Einleitung
Exasol wurde 2000 in Nürnberg Leistungsfähigkeit und Preis-Leis Gewerbe und Forschung.
gegründet und unterhält tungs-Verhältnis noch weiter Die In-Memory-Datenbank von
Niederlassungen in den USA, verbessert werden. Exasol wurde von Grund auf neu
Frankreich und Großbritannien. Exasol ist somit der einzige In- entwickelt und läuft auf kosten
Am Hauptsitz Nürnberg stehen Memory-Datenbank-Anbieter, der günstigen x86 Prozessoren. Das
Aaron Auld (CEO), Mathias Datenmengen von 100 GB tuning-freie System ist schnell
Golombek (CTO) und Michael bis zu 100 TB verarbeiten kann. einsetzbar und spart erhebliche
Konrad (CFO/COO) sowie das Kosten im operativen Betrieb. Die
Team für Qualität, Leidenschaft Mit Unterstützung der Exasol- Hochleistungsdatenbank bietet
und partnerschaftliche Standorte in Deutschland, umfassende Lösungsszenarien für
Kundenbeziehungen. Großbritannien, Frankreich, den Business Intelligence, Customer
USA sowie weltweiten Partnern Insight und Data Warehousing
Aushängeschild des Unter optimieren über 300 Organisa bis hin zu komplexen Predictive
nehmens ist das Kern-Produkt tionen ihr operatives Geschäft Analytics in Echtzeit.
Exasol, eine hochleistungsfähige, und bieten dank Exasol einen
In-Memory MPP-Datenbank, exzellenten Kundenservice. Anwender profitieren vor allem
die speziell zu Analysezwecken Exasol ist branchenunabhängig, bei komplexen und anspruchs
entwickelt wurde. Bereits 2011 d.h. die Lösung ist in den unter vollen Analysen sowie bei
hat die Datenbank von Exasol schiedlichsten Märkten zu großen Datenmengen (Big Data)
im TPC-H Benchmark einen finden, u.a. in den Bereichen von den Vorzügen von Exasol.
Rekord aufgestellt. 2014 konnte Digital Media, Einzelhandel,
dieses Ergebnis in puncto Telekommunikation, Finanz
dienstleistungen, produzierendes01
White paper Business 4
Exasol ist ein spaltenorientiertes, massiv paralleles auf In-Memory-Technologie basierendes
Datenbankmanagementsystem für Data Warehousing und Analyseanwendungen und zeichnet sich durch
folgende Merkmale aus:
In-Memory-Technologie Spaltenorientierte Massiv-Parallele
Speicherung und Kompression Datenverarbeitung
Innovative In-Memory-Algorithmen Durch spaltenorientierte Speicherung Exasol wurde als Parallelsystem
ermöglichen eine wesentlich schnellere und Kompression wird die Anzahl entwickelt, das auf einer Shared-
Verarbeitung großer Datenmengen der I/O Operationen und die zur Nothing-Architektur basiert.
im Hauptspeicher. Verarbeitung im Hauptspeicher Abfragen werden auf alle Knoten
benötigte Datenmenge verringert eines Clusters verteilt. Dies geschieht
und die Leistung erhöht. unter Verwendung eines optimierten
parallelen Algorithmus, der die Daten
lokal im Hauptspeicher eines jeden
Knotens verarbeitet.
Hohe Anzahl Skalierbarkeit Tuningfreie Datenbank
gleichzeitiger User
Tausende Benutzer können gleichzeitig Durch die lineare Skalierbarkeit kann Intelligente Algorithmen überwachen
auf eine große Datenmenge zugreifen das System jederzeit erweitert werden kontinuierlich die Nutzung und
und diese analysieren ohne dass und die Leistungsfähigkeit kann durch passen sich eigenständig an, wodurch
die Leistungsfähigkeit der Abfrage das Hinzufügen zusätzlicher Knoten die Leistungsfähigkeit des Systems
beeinträchtigt wird. erhöht werden. optimiert und der administrative
Aufwand minimiert werden.01
White paper Business 5
Schneller Zugriff auf Umfassende Advanced In-Database
sämtliche Datenquellen Hadoop-Integration Analytics
Mit dem Datenvirtualisierungs- Daten, die in beliebigen von HCatalog User Defined Functions (UDF)
Framework „Virtual Schemas“ sowie unterstützten nativen Datenformaten ermöglichen es, dass Advanced
dem hochperformanten Datenimport- vorliegen, können direkt aus HDFS Analytics innerhalb der Datenbank
Framework können neue Datenquellen geladen werden, sodass Hochgeschwin durch den Einsatz von R, Python,
leichter angebunden und noch digkeitsanalysen von strukturieren und Lua und Java problemlos läuft.
schneller analysiert werden. unstrukturierten Daten einfach und
reibungslos durchgeführt werden
können. Der Datentransfer erfolgt
dabei hochperformant und parallelisiert.
Erweiterte Konnektivität Beliebige
Einsatzmöglichkeiten
Zusätzlich zu den bisherigen JDBC, Als sehr flexible Lösung kann Exasol
ODBC und .NET- Schnittstellen wird in unterschiedliche Geschäftsmodelle
darüber hinaus eine Web-Socket- eingebunden werden. Folgende
basierte SQL-Schnittstelle unterstützt. Möglichkeiten stehen zur Auswahl: als
Durch diese neue Schnittstelle kann reine Software-Lösung, als Appliance
fast jede Plattform problemlos auf oder in der Cloud (EXACloud, Microsoft
Exasol zugreifen, auch wenn kein Azure oder Amazon Web Services).
dedizierter Treiber verfügbar ist. Exasol
enthält bereits einen auf diesem API
basierenden Python-Adapter.02
White paper Business 6
Was genau ist Exasol?
Core Architektur
Die Architektur von Exasol ist in Abb. 1 dargestellt. Exasol
verfügt über eine benutzerfreundliche, webbasierte grafische
The Exasol platform Cutting-edge
technology
Benutzeroberfläche EXAOperation, ein eigenes Cluster-
Management-System EXAClusterOS sowie über eine eigene
Applications
Predictive Business
Storage-Mangement-Komponente EXAStorage. Exasol Data Science
Analytics Intelligence
unterstützt den ANSI Standard SQL 2008 (einschließlich World’s fastest in-memory engine
Advanced Real-Time Logical Data
aller analytischen Funktionen) sowie einen großen Teil des Analytics Ad Hoc Reporting Warehouse
gebräuchlichen Oracle SQLDialekts. Die Unterstützung von
Teilen des Oracle-SQL-Sprachumfangs ist insbesonders bei
der Migration von Oracle-angebundenen Applikationen
Extendable analytics platform
von Vorteil. Ein Code-Refactoring wird dadurch deutlich Analytics
vereinfacht oder sogar unnötig. SQL R Python Java
Geo-
Lua Skyline Unbeatable scalability
Ausfallsicherheit und Redundanz sind durch zusätzliche spatial
„Hot Standby” Server im Cluster gewährleistet. Sollte - The parallel in-memory database
ein Server ausfallen, übernimmt automatisch einer der TCO
Physical Storage: Data Virtualization Framework:
„Hot Standby” Server dessen Rolle und das Cluster arbeitet ExaStorage Virtual Schemas
Minimal TCO
weiter. Der defekte Server kann ohne die Außerbetriebnahme
von Exasol entfernt und ersetzt werden (er wird dann
zum neuen „Hot Standby” Server).
Data
OLTP, CRM, M2M, Click Streams, Text, Geolocation Hadoop
SCM, ERP … Sensors Web Logs Social Media data systems
Abb. 1: Logische Architektur von Exasol02
White paper Business 7
Was genau ist Exasol?
Core Architektur
Exasol verfügt über einen hohen Automatisierungsgrad und sichert damit einen niedrigen Administrationsaufwand.
Einige Automatisierungsschwerpunkte sind z.B.:
Gleichmäßige automatische Automatische Daten Automatische Anwendung
Verteilung der Daten duplizierung, innovativer Kompressions
auf alle Server im Cluster. um im Falle eines Serverausfalls die algorithmen,
Datenintegrität sicherzustellen. die datentypspezifisch und für die
In-Memory-Verarbeitung optimiert
sind. Diese Algorithmen arbeiten
auch unabhängig voneinander an
jedem Knoten, um eine optimale
Performance zu garantieren.
Automatische Automatische Überwachung
Datenkompression und Aufzeichnung der
auf Spaltenebene Systemressourcen
mit identischen Speicherbildern (RAM, Harddisk, CPU) zur Unter
sowohl im Hauptspeicher als auch stützung der Kapazitätsplanung.
auf persistenten Speicher zur
Optimierung der Performance.02
White paper Business 8
Was genau ist Exasol?
Core Architektur
Die fallenden RAM-Preise haben viele oder die Replikation kleiner Tabellen erst einmal in das Cluster eingebunden,
Lieferanten angeregt, In-Memory- vornimmt, wodurch in der Praxis die werden die Daten automatisch über die
Optionen für ihre bestehenden Daten aufwendige manuelle Optimierung des bestehenden und die neuen Knoten im
bankprodukte zu entwickeln. Exasol Systems entfällt. Hintergrund umverteilt und der User
hingegen wurde von Anfang an als kann während dieses Prozesses weiter
In-Memory-Datenbank geplant und Außerdem überwacht Exasol als Teil des Abfragen vornehmen.
entwickelt. Dies ist kein „add-on“ Workload Managements die Ressour
Feature und im Gegensatz zu einer cenauslastung und protokolliert sie. Für spezielle Fälle, wenn die Auslastung
Reihe von Wettbewerbsprodukten Wenn sich also das Arbeitsaufkommen sehr unterschiedlich ist (etwa weil sie
braucht man nicht die gesamte Daten erhöht (z.B. mehr Daten, mehr Nutzer, zu verschiedenen Tageszeiten stark
bank In-Memory zu speichern. Die immer komplexere Abfragen) und die variiert), kann mit Hilfe der Priorisie
Erfahrung zeigt, dass selbst schon Leistungsfähigkeit der Datenbank zu rung von Benutzern und Rollen die
bei einer Hauptspeichergröße in der sinken droht, hilft die Ressourcenverteilung sowie das
Größenordnung von lediglich 10 % des Information des System-Monitorings Scheduling den Bedürfnissen
Rohdatenvolumens optimale Perfor bei der Festlegung wie viel mehr an angepasst werden.
mance erzielt wird. Wie auch bei der Speicher pro Servers benötigt wird
persistenten Speicherung auf Disks ist (Upscaling) oder falls nötig, um wie
Kompression auch hier hilfreich. So er viele neue Knoten (Server) das Cluster
gibt sich eine hinreichende Flexibilität ergänzt werden muss (Outscaling),
um Kosten (Speicher, Server, etc.) sowie um das Leistungsniveau zu halten.
die benötigte Performance gezielt auf
die eigenen Bedürfnisse anzupassen. Das Upscaling und die Versorgung der
Datenbank eines jeden Servers mit
Exasol enthält einen intelligenten, mehr Speicherkapazität werden durch
kostenorientierten Query Optimizer, die EXAOperation GUI gesteuert. Das
der vollautomatisch Optimierungen, Hinzufügen neuer Server ist ebenfalls
wie etwa die Erstellung von Indizes unkompliziert. Ist die neue Hardware02
White paper Business 9
Was genau ist Exasol?
Weitere Merkmale
Exasol unterstützt Standardschnitt proprietärer Queries in ANSI- Die Datenbank ermöglicht Daten in
stellen zur Integration von Upstream- standardkonformes SQL erlaubt, ohne Echtzeit aufzubereiten und einzelne
(Datenintegration) und Downstream- die ursprünglichen Queries anpassen Row Inserts parallel zu traditionelleren
(BI)-Tools. Die von der Datenbank zu müssen. Durch diese Einbindung der
genutzten Standardschnittstellen sind bestehenden SQL-Anwendungen wird Die Advanced Version von Exasol
u.a. ODBC, JDBC, .NET sowie eine Zeit gespart und das Risiko beträchtlich stellt zusätzlich ein leistungsfähiges
Web-Socket-basierte SQL-Schnittstelle minimiert. Analytics-Framework zur Verfügung.
(JSON). Die Datenbank unterstützt alle Nutzer können Code, der in den
gängigen am Markt befindlichen BI- Exasol besitzt weiterhin einen Programmiersprachen R, Python, Lua
und Datenintegrations-Tools wie z.B. Bulk-Loader, der sich einfach mit oder Java geschrieben ist, parallelisiert
Informatica, Talend, Pentaho, Tableau, Datenintegrationswerkzeugen mit extrem hoher In-Memory-
Alteryx, Business Objects, Cognos, Birst verwenden lässt. Ein leistungsfähiges Performance in der Datenbank als
und MicroStrategy. Merkmal ist u.a. die Fähigkeit, kom User-Defined-Functions (UDFs) aus
primierte Daten zu verarbeiten, z.B. führen. Zusätzlich können beliebige
Des Weiteren ermöglicht die im zip-Format, die noch schnelleren weitere Programmiersprachen integriert
Unterstützung der nativen Oracle Datentransfer ermöglichen. Da werden, so dass Anwender nicht mehr
Schnittstelle OCI extrem schnellen und Unternehmen Analysen immer mehr auf den bereits sehr umfangreichen
parallelisierten Datenaustausch mit zur Unterstützung ihres operativen Standard-Sprachumfang beschränkt
Oracle-Datenbanksystemen. Geschäftes verwenden, müssen Daten sind.
im Data Warehouse regelmäßig
Ein weiteres Unterscheidungsmerkmal angepasst und aktualisiert werden.
ist, dass ein SQL-Präprozessor (Batchload) Anwendungsfällen zu
die Transformation bestehender verarbeiten.02
White paper Business 10
Weiterhin können Berechnungen Ein weiteres Alleinstellungsmerkmal
analog dem Map-Reduce-Prinzip von ist die analytische Skyline-Funktion
Hadoop-Systemen direkt in der SQL für Preference Analytics. Skyline
Engine durchgeführt und innerhalb stellt quasi eine völlig neue Art von
eines SQL Statements mit Standard Analytics dar. Preference Analytics
SQL kombiniert werden (beispielsweise greift die grundlegenden Probleme
über JOINs). Darüber hinaus unterstützt der traditionellen Herangehensweise
Exasol zahlreiche räumliche Funktionen des Data Minings auf. Denn die
zur Verarbeitung von Geo-Daten. ständig wachsende Datenflut und die
Vielfalt der Variablen bedeuten, dass
Die Advanced Edition von Exasol traditionelle Ansätze wie Scoring,
beinhaltet ein leistungsfähiges Sortieren und Filtern zu suboptimalen
Datenvirtualisierungsframework (Virtual Analysen führen.
Schemas) und ein erweiterbares Ein Beispiel aus der Praxis ist die
hochflexibles Integrationsframework Auswahl der besten Investmentfonds.
(ETL-UDFs). Dies ermöglicht eine sehr Hierbei ist eine kontinuierliche objektive
flexible und performante Integration Analyse unter Berücksichtigung
von Hadoop-basierten Daten in Exasol. des Risikos, der Rendite und
zahlreicher weiterer Kennzahlen mit
herkömmlichen Ansätzen alles andere
als einfach. Skyline berechnet dabei
die in der Regel recht kleine Teilmenge
derjenigen Fonds, die tatsächlich auf
Basis der definierten Kriterien in die
engere Wahl kommen können.03
White paper Business 11
Nutzen
Exasol liefert High Performance Der Vorteil, den Exasol in Bezug auf
Analysen auf einem hoch skalierbaren, das Preis-/Leistungsverhältnis bietet,
leicht zu bedienenden System, das wurde durch den TPC-H-Benchmark-
schnell einsatzbereit und extrem Test der unabhängigen Organisation
kostengünstig ist. Transaction Processing Performance
Council deutlich. Exasol nimmt mit
Für den Einsatz von Exasol müssen Sie großem Abstand eine Spitzenposition
Ihr bestehendes System nicht ersetzen. gegenüber anderen Lösungen sowohl
Es lässt sich als Ergänzung in die bei den zu verarbeitenden Daten als
bestehende Infrastruktur auch beim Preis für Datenvolumen von
implementieren und liefert hoch- 300 GB bis 100 TB ein.
leistungsfähige Analysen, die mit Ihrem Das Diagramm in Abb. 2 verdeutlicht
vorhandenen System nicht möglich den Leistungsvorteil von Exasol bei
wären. Durch diese Ergänzung können allen Faktoren. Die ausführlichen
Sie Ihre bestehende Infrastruktur Ergebnisse des TPC-H-Tests finden
weiterhin vollumfänglich nutzen und Sie auf der Website des Transaction
beweisen, dass Ihr Unternehmen Processing Performance Council
hochleistungsfähige Analysen ohne unter: www.tpc.org
den Eingriff in bestehende Prozesse
durchführen kann. Falls gewünscht,
können Sie dann im Laufe der Zeit eine
schrittweise Umstellung der
vorhandenen Analyseanwendungen auf
die In-Memory Datenbank planen.03
White paper Business 12
TPC-H Performance at all Scale Factors
11 000 000 1st Position
Performance (QphH)
10 000 00
9 000 000 2nd Position
8 000 000 3rd Position
7 000 000
6 000 000 4th Position
5 000 000
4 000 000
3 000 000
2 000 000
1 000 000
0
100GB 300GB 1TB 3TB 10TB 100TB
TPC-H Scale Factor
Abb. 2: Leistungsvorteile von Exasol03
13
Nutzen
Die erweiterten Analytics-Fähigkeiten der Advanced Edition eröffnen vielfältige
leistungsfähige Möglichkeiten für neuartige Analysen Ihrer Business-Daten.
Diese lassen sich grob in zwei Kategorien einordnen:
Erweiterung, Integration Erstellung neuer High
oder gar Ersatz von traditio Performance Computing
nellen plattform-spezifischen (HPC) Anwendungen,
Analyse-Anwendungen, die nur mit MPP-Technology wie
bei denen die maximal verarbeitbare Exasol samt seiner skalierbaren
Datenmenge durch die Plattform Datenanalysefähigkeiten
architektur stark begrenzt ist. Dies realisierbar sind.
ist beispielsweise oft bei Systemen
wie MATLAB oder SAS der Fall.
Diese Anwendungen sind charakterisiert durch extrem große Datenmengen,
die in kurzer Zeit mit komplexen Algorithmen analysiert werden müssen.
Die erweiterten leistungsfähigen Fähigkeiten der Advanced Edition basieren
auf offenen Frameworks für Datenintegration und analytischer Anwendungs
entwicklung. Die Integration dieser so geschaffenen Funktionalitäten kann
einfach über die Standard-SQL-Schnittstelle durch UDFs (User Defined Functions)
erfolgen. Diese offene Herangehensweise ermöglicht es Unternehmen, Lösungen
zu planen und zu gestalten, die bisherige technologische Investitionen optimal
nutzen. Dies unterscheidet Exasol von vielen Wettbewerbern, die häufig
geschlossene proprietäre Ansätze verfolgen, die zu einem klassischen Vendor-Lock
In führen.04
White paper Business 14
Einsatznutzen
Exasol ist sehr flexibel einsetzbar und hocheffizient:
Exasol läuft auf Die Exasol-Lizensierung Die Leistung von Exasol ist
Standardhardware basiert wahlweise auf dem abhängig vom Verhältnis
Neue und teure High-End Server der Anwendung zugeord- zwischen Datenbankgröße,
sind nicht erforderlich. neten Arbeitsspeicher oder Systemauslastung sowie
der maximal verarbeitbaren dem verfügbaren Arbeits-
Rohdatenmenge. speicher.
Dies ermöglicht eine flexible (Hinweis: Es besteht keine
Lizensierung, die auf den Notwendigkeit, ausreichend Speicher
Einsatzzweck zugeschnitten ist. für die gesamte Datenmenge vorzu
halten.) Wenn alle zur Verarbeitung
der Anfragen notwendigen Daten
stets im Hauptspeicher liegen, ist die
Performance optimal. Die Leistung
mit weniger RAM (und geringeren
Lizenzkosten) erfüllt jedoch
üblicherweise auch die SLA-
Anforderungen.04
White paper Business 15
Einsatznutzen
Höhere Workload- Unterschiedliche Exasol unterstützt einen
Anforderungen können Datenbanken können auf Großteil des Oracle-
flexibel einem einzigen Hardware- Sprachdialekts,
durch Aufstockung des Cluster laufen wodurch Oracle-Umgebungen
Hauptspeichers der existierenden – beispielsweise ideal zur schnell, effizient und ohne große
Knoten (Scale-up) und/oder Unterstützung mandantenfähiger Aufwände migriert werden
durch die Hinzunahme neuer Anwendungen. können.
Datenbankknoten (Scale-Out) erfüllt
werden.
Exasol enthält einen SQL Das leistungsfähige Datenvisualisierungs-
Präprozessor, Analytics-Frameworks von Framework
der eine schnelle Migration von Exasol Mit dem Datenvisualisierungs-
Applikationen ermöglicht, ohne die erlaubt eine nahtlose Integration von Framework „Virtual Schemas“
Applikationen selbst anpassen zu und mit anderen Technologien. sowie einem hochperformanten
müssen. Datenimport-Framework können
neue Datenquellen leichter
angebunden und noch schneller
analysiert werden.05
White paper Business 16
Fazit
Sie möchten Ihre bestehende Überzeugen Sie sich selbst Wenn Sie Ihre Anforderungen
BI-Plattform oder Ihre Business- von den Vorteilen von Exasol, mit einem unserer Experten
Analysen beschleunigen? Sie indem Sie unsere Lösung besprechen möchten, schreiben
wollen über Predictive Analytics kostenfrei testen: Sie einfach eine E-Mail an
komplexe Zusammenhänge
vorhersagen? Oder müssen www.exasol.com/de/download/ info@exasol.com
Sie Business Intelligence-
Anwendungen und Analytics
einer großen Anzahl an Nutzern
zur Verfügung stellen? Wenn
Sie Ihrem Unternehmen wirklich
nutzbare „Big Data“-Lösungen
anbieten möchten, dann ist
Exasol die Plattform, die es Ihnen
erlaubt, dies schnell, einfach und
kostengünstig zu realisieren.Exasol AG
Neumeyerstr. 22 – 26 Follow us for the latest content:
90411 Nuremberg
Germany
www.exasol.com
About this Whitepaper: Information listed here may change after the data sheet has been
Tel: +49 911 23991-0 printed (June 2018). Exasol is a registered trademark. All trademarks named are protected
Email: info@exasol.com and the property of their respective owner. © 2018, Exasol AG | All rights reserveSie können auch lesen
