Analytisches Datenmanagement Data Mesh – Abschied von der zentralen Datenspeicherung

Anbieter zum Thema

iTernity GmbH

Scality

Insider Research

Data Mesh wird derzeit als neuer Ansatz für das analytische Datenmanagement angepriesen, der auf einer verteilten Architektur basiert. Mit diesem sollen Unternehmen das Potenzial ihrer Daten endlich ausschöpfen können. Wir haben bei Adriana Calomfirescu, Group Head of Data bei Endava, und Peter Skulimma, Geschäftsführer Endava Berlin, nachgefragt, wie das in der Praxis funktioniert.

Storage-Insider: Was genau ist Data Mesh überhaupt?

Adriana Calomfirescu, Endava: Im Grunde ist Data Mesh ein Paradigmenwechsel von der zentralen Speicherung von Daten an einem Ort wie einem Data Lake oder Data Warehouse hin zu einer verteilten Architektur, in der Daten als Produkt gemanagt werden. Das Unternehmen und insbesondere die Teams, die Daten generieren, kennen ihre Daten am besten und wissen daher, welche Bedeutung und Aussagekraft die Daten haben, wie und wofür man sie nutzen kann. In einer verteilten Architektur, in der Daten als Data Domains strukturiert sind, werden die Daten katalogisiert, und jede Domain hat einen Data Owner. Dieser verfügt über das Wissen und die Fähigkeiten, andere Teams dabei zu unterstützen, die Daten zu verstehen und sinnvoll zu nutzen. Auf diese Weise kann jeder im Unternehmen leicht auf Metadaten zugreifen, der nach Daten über Daten sucht: Was ist die Quelle, wer ist der Data Owner, und welche Regeln bestehen bei der Transformation der Daten?

Wieso reichen zentrale Data Repositories wie beispielsweise Data Warehouses und Data Lakes heute für die Speicherung und anschließende Verarbeitung der Daten nicht mehr aus?

Peter Skulimma, Endava: Wenn wir uns die Entwicklungen der letzten Jahre anschauen, müssen wir uns fragen, inwieweit diese zentralen Speicher tatsächlich die Verarbeitung von Daten vereinfacht haben. Obwohl wir immer mehr Daten sammeln, gelingt es uns oft nicht, aus diesen riesigen Datenmengen aussagekräftige Erkenntnisse zu gewinnen, einfach weil es Faktoren gibt, die uns daran hindern. Dazu gehören beispielsweise: Die Herkunft der Daten ist nicht dokumentiert und daher unbekannt, es fehlen Metadaten, und die Datenqualität ist in den meisten Fällen wahrscheinlich das größte Problem. Zudem ist eine weitere Herausforderung bei dem zentralisierten Ansatz, dass der Ursprung der Daten nicht bis zu ihrer ursprünglichen Quelle zurückverfolgt werden kann. Und zu all diesen Problemen kommt noch hinzu, dass es vielerorts einfach an qualifizierten Data Scientists und Engineers fehlt, die mit diesen Daten arbeiten können. Die Mitarbeiter vieler Unternehmen wissen oft nicht genau, zu welchem Sinn und Zweck sie Daten eigentlich aufbereiten. Unternehmen sammeln heute massenhaft Daten nur um des Sammelns willen, denn sie sind nicht in der Lage, sie vernünftig zu nutzen.

Zudem gilt: Je mehr interne und externe Datenquellen an ein Data Warehouse oder einen Data Lake angebunden werden, desto schwieriger wird es, die Kontrolle über die Daten zu behalten und flexibel auf Veränderungen zu reagieren. Und wenn wir eines in den letzten Jahren gelernt haben, dann, dass Flexibilität für Unternehmen heute überlebensnotwendig ist.

Welche Vorteile bietet die Data-Mesh-Architektur Unternehmen?

Calomfirescu: Der größte Vorteil besteht sicherlich darin, dass sich die Art und Weise, wie Unternehmen Daten nutzen, verändert. Dadurch werden sie dezentrale Data Operations umsetzen, ihre Speicherkosten senken und zu einem Self-Service-Design übergehen können. Sprich: Diese Sammelleidenschaft, an denen manche Unternehmen zu leiden scheinen, kann erheblich abgebremst werden. Wichtige Erkenntnisse gewinnt man nicht, indem man immer mehr Daten aus externen Quellen heranzieht.

Indem sie ihre eigenen Daten genauer unter die Lupe nehmen und beispielsweise neue Use-Cases identifizieren, können Unternehmen herausfinden, welche neuen Produkte, Funktionen oder Services sie ihren Kunden anbieten können. Zudem sind sie schneller und flexibler als in einer monolithischen Datenarchitektur, in der die Teams separat arbeiten und immer darauf warten müssen, dass die Daten für sie bereitgestellt werden.

Skulimma: Außerdem sind die Verantwortlichkeiten für die Daten klar definiert: Teams, die Daten sammeln, sind auch dafür zuständig, diese so aufzubereiten, dass sie eine hohe Qualität aufweisen – höher als das etwa bei einem Data Lake der Fall ist. Das minimiert Risiken und optimiert Prozesse, was zu niedrigeren Gesamtkosten führt. Und die Datenkonsumenten können die aufbereiteten Datenprodukte ohne Bedenken weiterverwenden.

Ist das Data-Mesh-Konzept für alle Unternehmen geeignet?

Calomfirescu: Grundsätzlich ja, aber natürlich ist diese Art der Architektur besonders vorteilhaft für Unternehmen, die mit sehr großen und ständig wachsenden Datenbeständen arbeiten beziehungsweise es versuchen. Unternehmen mit nur geringen Datenmengen sind viel eher in der Lage, auch in einem zentralen Data Repository den Überblick über ihre Daten zu behalten und den größtmöglichen Nutzen aus ihnen zu ziehen.

Wie müssen Unternehmen ihre Teams künftig aufbauen, wenn sie Data Mesh umsetzen wollen?

Skulimma: Bislang haben wir auf der einen Seite diejenigen Teams, die Daten generieren und in einen zentralen Datenspeicher einspeisen. Auf der anderen Seite stehen die Datenkonsumenten, die mithilfe der Daten zum Beispiel neue Produkte entwickeln sollen. Dazwischen befinden sich die Data Scientists und Engineers, die die Daten aufbereiten und verarbeiten. In einer Data-Mesh-Architektur ist eine solche Struktur nicht ideal. Unternehmen sollten stattdessen funktionsübergreifende Teams aufbauen. Das heißt: Die Data Scientists und Engineers müssen Teil des Teams werden, das die Daten generiert. Dort können sie ihre datenproduzierenden Kollegen dabei unterstützen, die Datenprodukte aufzubereiten, die Qualität kontinuierlich zu verbessern und neue Produkte zu entwickeln.

Welche Aspekte sollten Unternehmen beachten, wenn sie Data Mesh implementieren wollen?

Calomfirescu: Zuerst muss ein Data-Governance-Modell definiert werden, da eine Data-Mesh-Architektur eine starke Data-Governance-Policy braucht, in der die Data Owner eine entscheidende Rolle spielen. Sie sind für die Maßnahmen verantwortlich, die sicherstellen, dass die Daten als Produkte geliefert werden, das heißt in der benötigten Datenqualität. Zudem müssen sie für kürzere Vorlaufzeiten für die Verarbeitung von Daten und die Zufriedenheit der Datennutzer sorgen. Anschließend sollten Unternehmen Datenkataloge für jede Data Domain erstellen und die Domain-spezifischen Datenprodukte definieren. Und schließlich verlagert sich der Fokus auf die Architektur- und Technologieaspekte, die Produkte und das Betriebsmodell.

Vielen Dank für das Interview!

Aktuelles eBook

Storage-Management

Teil 1: Immer den Überblick behalten

Ab einer gewissen Größe ist für Unternehmen das Storage-Management unerlässlich. Es optimiert durch geeignete Strategien und technische sowie organisatorische Maßnahmen die Effizienz und Leistungsfähigkeit der heterogenen Speicherlandschaft.

Dieses eBook behandelt unter anderem die folgenden Themen:

• Was ist Storage-Management?
• Nahe Verwandte des Speichermanagements
• Der Status quo der Storage-Systeme

eBook „Storage-Management“ kostenlos downloaden

(ID:48398081)