Innovative Modelle zur Datenspeicherung und Datenverarbeitung nutzen Die Rolle von Data Lakehouses im modernen Enterprise Data Management

Anbieter zum Thema

Impossible Cloud GmbH

Das exponentielle Wachstum an strukturierten, semistrukturierten und unstrukturierten Daten erfordert neue Ansätze für das Enterprise Data Management. Mit einem Data Lakehouse können Unternehmen nicht nur ihre Kosten im Griff behalten, sondern auch effiziente Prozesse und Workflows aufsetzen, um wertvolle Informationen aus ihren Daten zu gewinnen – ganz gleich, in welcher Form diese vorliegen.

Storage-Systeme spielen für das Enterprise Data Management mehrere maßgebende Rollen. Eine ihrer Schlüsselfunktionen ist es, die Abfrage und die Analyse von Daten zu erleichtern, da dies für eine fundierte Entscheidungsfindung in Enterprise-Organisationen unerlässlich ist.

Wir leben im Zeitalter des datengesteuerten Unternehmens: Big Data, KI und maschinelles Lernen erfordern es, dass Storage-Lösungen riesige Datenbestände, die schneller als je zuvor generiert werden und in einer Vielzahl von Formaten vorliegen, unterstützen. Die Bereitstellung datengestützter Erkenntnisse, Prozesse und Workflows entscheidet darüber, ob Unternehmen die Kontrolle über ihre Kosten behalten und im Wettbewerb erfolgreich bestehen können.

Obwohl sich Data Warehouses und Data Lakes in der Vergangenheit als unschätzbar wertvoll erwiesen haben, können sie heute die von den Unternehmen geforderten Funktionalitäten oftmals nicht mehr erfüllen und sind zudem zu kostenintensiv. Ein modernes Enterprise Data Management erfordert einen neuen Ansatz für die Speicherung, die Abfrage und die Analyse von Daten.

Die Grenzen von Data Warehouses

Werfen wir zunächst einen Blick auf das Data Warehouse. Aufgrund der zentralen Speicherung der Daten in relationalen Datenbanken war diese Lösung hervorragend geeignet, um die Komplexität der Data Managements zu senken und die Informationssilos in den Unternehmen aufzubrechen. Mit einem Data Warehouse können Unternehmen eine Reihe von Use Cases, einschließlich Business Intelligence und Reporting, relativ einfach umsetzen. Dies hat wesentlich zu dem großen Erfolg dieser Technologie beigetragen: Heute werden rund 37 Prozent der Unternehmensdaten in Cloud-basierten Data Warehouses und 35 Prozent in Data Warehouses On-Premises gespeichert.

Data Warehouses sind jedoch auch gewissen Beschränkungen unterworfen – in zweierlei Hinsicht. Zum einen können sie unstrukturierte Daten nicht problemlos speichern oder verarbeiten. Herkömmliche Data Warehouses sind auf strukturierte Daten ausgelegt, die in Tabellen mit Zeilen und Spalten formatiert sind. Unstrukturierte Daten, zu denen Texte, Bilder, Videos und andere Formen nicht-relationaler Daten zählen, passen nicht in diese traditionellen Zeilen- und Spaltenstrukturen. Zum anderen stellen die Kosten eine erhebliche Beschränkung dar. Vereinfacht gesagt, sind Data Warehouses in einer Welt, in der das Datenvolumen exponentiell wächst, nicht kosteneffizient. Das liegt daran, dass Data Warehouses eine strukturierte Speicherung, eine komplexe Datenverarbeitung und zusätzliche Funktionen für die Analyse und das Reporting erfordern und somit oftmals höhere Kosten verursachen.

Data Lakes sind nur eine Teillösung

Data Lakes sind entstanden, um diese Herausforderungen zu bewältigen. Sie sind speziell für die Speicherung einer Vielzahl von Datentypen konzipiert, darunter auch semistrukturierte und unstrukturierte Daten in ihrem ursprünglichen Format. Data Lakes bieten mehr Flexibilität und verursachen geringere Kosten als Data Warehouses – über die gesamte Lebensdauer hinweg betrachtet. Sie können jedoch auch Herausforderungen hinsichtlich der Data Governance und der Geschwindigkeit, die zur Gewinnung neuer Erkenntnisse erforderlich ist, mit sich bringen. Ungeachtet dessen werden die Kostenvorteile von Data Lakes zum Teil durch die Tatsache aufgehoben, dass viele Unternehmen eine hybride Lösung einsetzen, die unstrukturierte Daten in einem Data Lake und strukturierte Daten in einem Data Warehouse speichert.

„Speicherhungrig“ – der Storage-Insider-Podcast, Folge 2

Datenmessies im Sammelwahn – biologische Gründe für die Datenflut

Darüber hinaus setzen Data Lakes ein umfassendes Know-how und eine hohe Qualifikation der Mitarbeiter voraus. Während die Struktur von Data Warehouses es Nutzern mit relativ begrenzten IT-Kenntnissen ermöglicht, Daten mit einfachen SQL-Befehlen abfragen, sieht die Situation bei Data Lakes ganz anders aus: Nur Mitarbeiter mit fundiertem Fachwissen und unter dem Einsatz fortschrittlicher Tools und Techniken können aus einem unstrukturierten Data-Lake-Storage wertvolle Erkenntnisse für ihr Unternehmen gewinnen.

Data Lakehouses – die Evolution des Enterprise Data Managements

Diese verschiedenen Beschränkungen treiben die Entwicklung neuer Technologien für das Enterprise Data Management voran – die Entstehung von Data Lakehouses. Data Lakehouses ermöglichen es Unternehmen, die kostengünstigen und leistungsstarken Funktionen von Data-Lake-Storage mit den strukturierten Funktionen für die Datenabfrage und das Datenmanagement von Data Warehouses zu kombinieren. Data Lakehouses erreichen dies, indem sie mithilfe von Schemata und KI eine Struktur für unstrukturierte Daten schaffen. Diese semistrukturierten Daten können dann mit einfachen SQL-Anweisungen abgefragt werden.

Im Wesentlichen sieht der Ansatz den Aufbau eines großen Data Warehouse auf einem Data Lake vor, sodass Unternehmen ihre kostenintensiven Data Warehouses ein für alle Mal außer Betrieb nehmen können. Unternehmen haben das Potenzial von Data Lakehouses schnell erkannt: Aktuell nutzen circa 70 Prozent der Unternehmen ein Data Lakehouse, führen ein Pilotprojekt durch oder planen die Einführung eines Data Lakehouses innerhalb der nächsten 12 Monate.

Erste Schritte mit einem Data Lakehouse

Wie auch bei jeder anderen Technologie sind nicht alle Data Lakehouses gleich. Falls Sie diese Technologie für Ihr Unternehmen in Betracht ziehen, sollten Sie sich diese drei Schlüsselfragen stellen, um eine optimale Umsetzung zu gewährleisten:

• 1. Bietet das Data Lakehouse benutzerfreundliche Self-Service-SQL-Analysen? Im Idealfall können auch technisch weniger versierte Nutzer Abfragen ohne die Hilfe von IT-Experten durchführen. Das spart Zeit, senkt die Kosten und erhöht die betriebliche Agilität.

• 2. Basiert das Data Lakehouse auf offenen Standards? Open-Source-Lösungen ermöglichen es Unternehmen, erstklassige Processing-Engines zu nutzen und die Abhängigkeit von einem einzelnen Anbieter zu vermeiden (Vendor Lock-in).

• 3. Bietet die Lösung flexible Optionen für die Bereitstellung? Da keine IT-Infrastruktur der anderen gleicht, müssen Data Lakehouses sowohl auf großen Cloud-Plattformen als auch in den Data-Centern vor Ort im Unternehmen eingesetzt werden können.

Da Unternehmen Daten zunehmend als zentrale Assets erachten, die essentiell für die Förderung von Innovationen, Wettbewerbsvorteilen und betrieblicher Effizienz ist, entwickeln sich herkömmliche Modelle zur Datenspeicherung und Datenverarbeitung kontinuierlich weiter. Nur so lässt sich das enorme Wachstum an strukturierten, semistrukturierten und unstrukturierten Daten bewältigen. Dies treibt die Einführung flexibler, skalierbarer und effizienter Systeme für das Enterprise Data Management stark voran, wobei ein Data Lakehouse an der Spitze dieser Entwicklung steht. Unternehmen, die diesen Weg einschlagen und neue, innovative Technologien nutzen, können genau die Erkenntnisse gewinnen, die sie für ein erfolgreiches Wachstum benötigen.

* Der Autor: Andreas Vogels ist Head of Central Europe bei Dremio, hat mit Dremio vor vier Jahren als „First man on the Ground“ gestartet und verantwortet inzwischen die Region Zentraleuropa. Zu den namenhaften Kunden gehören u. a. Allianz Global Investors, Böhringer Ingelheim, DATEV, RWE und Software AG. Vor seinem Wechsel zu Dremio war er bereits 12 Jahre in den Bereichen Software / Analytics & Datenmanagement tätig.

Aktuelles eBook

All-Flash-Arrays mit NVMe – eine Chance für neue Use Cases

Gegenüber herkömmlichen drehenden Festplatten setzen sich zunehmend mit SSDs bestückte Flash-Systeme durch und punkten im Verbund mit NVMe vor allem durch hohe Geschwindigkeit. Wann lohnt sich der Einsatz eines All-Flash-Arrays im Unternehmen? Und welches System ist das passende? Diese und weitere Fragen beantwortet unser neues, kostenloses eBook.

Die Themen im Überblick:

• Technologische Grundlagen: Was ist NVMe-Flash?
• Use Cases: Wann lohnt sich ein NVMe-Array fürs Unternehmen?
• Anbieter und Produkte: NVMe-AFAs

eBook „All-Flash-Arrays mit NVMe“ kostenlos downloaden

(ID:49959650)