Architektur zur Verwaltung analytischer Daten Was ist ein Data Mesh?

Anbieter zum Thema

Fsas Technologies GmbH

FAST LTA GmbH

Ein Data Mesh ist ein Konzept für eine dezentrale Architektur zur Bereitstellung analytischer Daten. Im Big-Data-Umfeld stellt es gegenüber klassischen Konzepten wie Data Warehouses oder Data Lakes einen Paradigmenwechsel im Management analytischer Daten dar. Die Daten werden als Produkt betrachtet und in einer verteilten Architektur in Domänen separat verantwortet. Den Anwendern stellt das Mesh die Daten in Form einer Self-Service-Plattform bereit.

Den Begriff Data Mesh (deutsch zuweilen „vermaschtes (Daten-)Netz“) verwendete Zhamak Dehghani vom Software-Beratungsunternehmen Thoughtwork erstmals im Jahr 2018. Es handelt sich um ein Konzept für eine dezentrale, domänenorientierte Architektur zur Verwaltung und Bereitstellung analytischer Daten. Gegenüber klassischen Konzepten des Big-Data-Umfelds wie zentrale, monolithische Data Warehouses oder Data Lakes stellt es ein Paradigmenwechsel dar.

In einem Data Mesh werden die Daten als Produkt behandelt, von den Dateneigentümern domänenbasiert verantwortet und in Form einer Self-Service-Plattform bereitgestellt. Dadurch lassen sich Einschränkungen und Skalierungsgrenzen, mit denen klassische, zentralisierte Datenplattformarchitekturen zu kämpfen haben, beseitigen.

Motivation für ein Data Mesh

Im klassischen Big-Data-Umfeld liefern Data Lakes und Data Warehouses die Datengrundlage zur Nutzung riesiger Datenmengen. Doch mit steigenden Datenmengen stoßen solche zentralen, monolithischen Datenarchitekturen an ihre Grenzen. Immer mehr Datenquellen müssen erfasst und unterschiedliche Daten für ihre Nutzung aufwendig bereinigt und aufbereitet werden. Je mehr externe Daten an einer zentralen Stelle zusammenlaufen, desto schwieriger sind sie zu kontrollieren. Die zentralen Datenrepositorys werden komplex und langsam.

Das Konzept eines Data Meshs stellt einen Paradigmenwechsel in der Verwaltung und Bereitstellung analytischer Daten dar. Die Daten werden dezentral, domänenbasiert verantwortet und in einem Mesh bereitgestellt.

Prinzipielle Funktionsweise und Merkmale eines Data Meshs

In einem Data Mesh werden Daten als Produkt betrachtet und gemanagt. An die Stelle eines zentralen, monolithischen Speichers tritt eine verteilte Architektur, vergleichbar mit einer mikroservicebasierten Anwendungsarchitektur. Einzelne Teams von Dateneigentümern sammeln und verantworten ihre Daten. Große Datenmengen werden in überschaubare Einheiten aufgeteilt und in funktionalen Domänen gemanagt. Die Bereitstellung der Daten für analytische Zwecke erfolgt in Form einer Self-Service-Plattform mit schnell und einfach konsumierbaren Datenformaten.

Die Merkmale eines Data Meshs sind kurz zusammengefasst folgende:

• Daten werden als Produkt betrachtet,

• die Verwaltung erfolgt dezentral in Domänen,

• Dateneigentümer verantworten ihre Daten domänenbasiert,

• die Bereitstellung der analytischen Daten erfolgt in Form einer Self-Service-Plattform.

Vorteile eines Data Meshs

• Ein Data Mesh macht riesige Datenmengen schneller und einfacher nutzbar.

• Das Mesh reduziert gegenüber einer zentralen Datenhaltung die Komplexität und schafft Ordnung.

• Aufwendiges Exportieren und Importieren von Daten in andere Datenspeicher ist nicht mehr notwendig.

• Dateneigentümer, die ihre Daten jeweils am besten kennen, verantworten ihre Daten selbst und liefern eine hohe Datenqualität.

• Engpässe im Datenzugriff werden durch das dezentrale Konzept beseitigt.

• Skalierbarkeit, Flexibilität und Agilität der Datenauswertung steigen.

• Unternehmen sind nicht an eine einzige Datenplattform gebunden und haben im Self-Service-Modell schnellen Zugriff auf alle benötigten Daten.

• Die verteilte Architektur bietet eine hohe Kosteneffizienz und erlaubt den Einsatz von Cloud-Datenplattformen.

• Datenerfassung und Datenauswertungen in Echtzeit werden erleichtert.

(ID:48690376)