Big Data mit Hadoop und Hive: Untersuchung der Migration einer MySQL-basierten Monitoring & Data Warehouse Lösung nach Hadoop

Die escape GmbH betreibt ein MySQL basiertes Dataware-House in das Daten aus verschiedenen Webpräsenzen fließen, um dort ausgewertet zu werden. Nach Jahren des erfolgreichen Betriebs nimmt mit der ständig steigenden Menge an gespeicherten Daten die Leistung des Systems allerdings ab. Die Laufzeiten für Auswertungen steigen und die Agilität sinkt. Kleine Optimierungen und Veränderungen des Systems können das Unbrauchbarwerden hinauszögern, als aber aus Gründen der Leistung auf einen Teil der Abfragen verzichtet werden muss, wird schließlich klar, dass nur eine grundlegende Veränderung des Systems den langfristigen Betrieb sicherstellen kann. Aus diesem Grund wurde nach Technologien gesucht, deren Fähigkeiten die Leistung des bestehenden Dataware-Houses verbessern können. Dies führte zu Hadoop.

Jonas M. Kress (Jonas-Kress.de) wurde 1984 in Bamberg geboren. Bereits 2000 begann er seine Arbeit im Bereich komplexer Computer Systeme. Sein Masterstudium der Angewandten Informatik schloss er 2012 mit Auszeichnung an der HTW in Berlin ab. Heute arbeitet er vor allem als Berater und Software Architekt und hilft bei der Umsetzung von Informations-Systemen mit hohen Anforderungen.