Datenmanagementarchitektur Was ist ein Data Lakehouse?

Anbieter zum Thema

VMware Global Inc Zweigndl. Deutschland

Scality

Cohesity GmbH

Ein Data Lakehouse ist ein noch recht junger Datenmanagementansatz, der die spezifischen Vorteile eines Data Lakes und eines Data Warehouses in einem gemeinsamen Konzept vereint. Das Daten Lakehouse bietet eine offene Architektur mit umfangreicher Unterstützung von Datenanalyseprozessen eines Data Warehouses und der Flexibilität und Kosteneffizienz der Datenhaltung eines Data Lakes.

Das Data Lakehouse ist ein moderner und noch recht junger Ansatz für eine Datenmanagementarchitektur. Ziel dieses Ansatzes ist es, die Funktionen und Vorteile des Data Warehouses und des Data Lakes ein einem gemeinsamen, offenen Konzept zu vereinen. Große strukturierte, unstrukturierte oder semistrukturierte Datenmengen jedes Formats lassen sich mit der Flexibilität, Skalierbarkeit und Kosteneffizienz eines Data Lakes vorhalten, gleichzeitig werden komplexe Datenanalyseprozesse mit der Effizienz eines Data Warehouses unterstützt. Alle Daten lassen sich auf einer gemeinsamen Ebene bereitstellen und für unterschiedliche Prozesse, Anwendungen und Analysen verwenden.

Eigenschaften des Data Warehouses und des Data Lakes

Für ein besseres Verständnis des Konzepts eines Data Lakehouses zunächst einige grundlegende Informationen zu den Eigenschaften des Data Warehouses und des Data Lakes.

Bei einem Data Warehouse handelt es sich um eine spezielle Form einer zentralen Datenbank, die für Analysezwecke optimiert ist. Das Data Warehouse sammelt Daten aus anderen Datenquellen, bereitet diese auf und speichert sie in einer organisierten, strukturierten Form, um sie für Analysezwecke und nachgelagerte Anwendungen bereitzustellen. Alle Daten durchlaufen den ETL-Prozess (Extract, Transform, Load). Der Zugriff auf die Daten ist beispielsweise mit SQL möglich.

Aufgabe eines Data Lakes ist es, Rohdaten verschiedener Quellen in ihrem ursprünglichen Format kosteneffizient in einem einzigen Objektspeicher zu erfassen und zu speichern. Die Daten können unstrukturiert oder semistrukturiert sein. Qualität und Konsistenz der Daten sind nicht gesichert. Für direkte Datenanalysen sind die Daten nur beschränkt einsetzbar.

Funktionsweise eines Data Lakehouses

Ein Data Lakehouses überwindet eine zweigleisige Architektur mit getrennter Datenhaltung in einem Data Warehouse und Data Lake. Es erfasst alle Daten auf einer gemeinsamen Datenplattform und organisiert sie so, dass die spezifischen Verwendungszwecke sowohl eines Data Warehouses als auch eines Data Lakes unterstützt werden.

Die einfache und kosteneffiziente Aufnahme von Rohdaten wird mit der Organisation und Strukturierung der Daten im ETL-Prozess kombiniert. Hierfür kommen Verbesserungen und neue Konzepte im Bereich des Metadatenmanagements, der Datenarchitektur, des Datenzugriffs und der Datenverarbeitung zum Einsatz.

Das Data Lakehouse erhält eine transaktionsbezogene Metadatenschicht und ist gleichzeitig in der Lage, Daten auf kostengünstigem Objekt-Storage zu speichern. Struktur und Darstellung der Daten lassen sich im laufenden Betrieb für verschiedene Anwendungen und Prozesse optimieren.

Vorteile eines Data Lakehouses

Vorteile eines Data Lakehouses sind:

• stellt alle Daten auf einer gemeinsamen Datenplattform bereit und reduziert den Administrationsaufwand,

• reduziert die Datenredundanz,

• vereinfacht das Datenmanagement,

• bietet Skalierbarkeit, Flexibilität und Kosteneffizienz eines Data Lakes,

• unterstützt strukturierte und unstrukturierte Daten und alle Datenformate,

• stellt bei Bedarf Konsistenz und Datenqualität sicher,

• unterstützt fortgeschrittene Analysen,

• bietet für Analyse-Tools direkten Datenzugriff,

• vereinfacht Prozesse der Data Governance und Datensicherheit.

(ID:48492357)