Transparente Daten Was ist Data-Observability (Datenbeobachtbarkeit)?

Anbieter zum Thema

DataCore Software GmbH

FAST LTA GmbH

Data-Observability ist die Fähigkeit, den Zustand, die Qualität und die Verfügbarkeit von Daten über alle Systeme, Datenpipelines und Prozesse hinweg kontinuierlich zu überwachen und zu verstehen. Sie bezieht sich auf den gesamten Lebenszyklus der Daten. Dadurch entsteht eine Transparenz, durch die sich Datenprobleme frühzeitig erkennen und beheben lassen, noch bevor sie sich negativ auf Prozesse auswirken.

Der deutsche Begriff für Data-Observability lautet Datenbeobachtbarkeit. Es handelt sich dabei um die Fähigkeit und die damit verbundenen Konzepte, Lösungen und Prozesse, den Zustand, die Qualität, die Verfügbarkeit und den Fluss von Daten in einer Organisation kontinuierlich und möglichst umfassend zu überwachen und zu verstehen. Data-Observability betrachtet den gesamten Lebenszyklus der Daten über alle Systeme, Datenpipelines und Prozesse hinweg. Ziel ist es, die Daten genau, konsistent und zuverlässig zu halten, um sie optimal für die betrieblichen Abläufe und Entscheidungsprozesse nutzen zu können. Dank Data-Observability lassen sich potenzielle Datenprobleme rechtzeitig erkennen und beheben, noch bevor sie sich negativ auf Prozesse auswirken oder sie Fehlentscheidungen verursachen.

Die Data-Observability hat in den vergangenen Jahren kontinuierlich an Bedeutung gewonnen, da es in modernen und komplexen IT-Landschaften mit Multi-Cloud-Umgebungen, Data Lakes, Data Warehouses und KI-Pipelines nicht mehr ausreicht, Daten nur reaktiv zu überwachen. Organisationen müssen Datenfehler und Datenprobleme möglichst frühzeitig erkennen, damit aus den Daten kontinuierlich Erkenntnisse abgeleitet und Entscheidungen getroffen oder Prozesse, Datenpipelines und KI-Modelle mit Daten versorgt werden. So kann die Data-Observability dazu beitragen, den unternehmerischen Wert der Datenbestände zu sichern.

Kurze Abgrenzung der Begriffe Data-Observability, Data-Monitoring und Datenqualitätsmanagement

Ist von Data-Observability die Rede, fallen immer wieder die Begriffe Data-Monitoring und Datenqualitätsmanagement. Data-Observability kann als eine Erweiterung des klassischen Data-Monitorings betrachtet werden. Klassisches Data-Monitoring verhält sich eher reaktiv und ist in seinem Umfang begrenzt. Es konzentriert sich auf die Überwachung bekannter Metriken und Fehler und liefert bei Überschreitungen von zuvor definierten Schwellwerten entsprechende Warnmeldungen. Data-Observability hingegen verhält sich proaktiver und bietet durch die automatisierte Betrachtung des gesamten Datenökosystems eine ganzheitliche Sicht auf die Daten, Datenströme und ihre Zusammenhänge. Neben der Überwachung unterstützt sie auch die Analyse von Abhängigkeiten, Auswirkungen und Ursachen von Datenproblemen und liefert Antworten darauf, warum bestimmte Ereignisse oder Fehler auftreten. Das Datenqualitätsmanagement umfasst Regeln und Prozesse, die sicherstellen sollen, dass Daten vorgegebene Qualitätsanforderungen erfüllen. Diese werden überwiegend bei der Datenerfassung und Datenaufbereitung angewandt, können aber auch in verschiedenen anderen Phasen des Datenlebenszyklus zum Einsatz kommen.

Die fünf Säulen der Data-Observability

Data-Observability wird häufig anhand von fünf Kerndimensionen mit ihren jeweils typischen Fragestellungen beschrieben, die auch als Säulen der Datenbeobachtbarkeit bezeichnet werden:

• Aktualität: Wie aktuell sind die Daten und stocken eventuell Datenpipelines?

• Volumen: Bewegt sich das Datenvolumen in der erwarteten Größenordnung, oder gibt es beispielsweise Datenverluste oder ungewöhnliche Zunahmen durch Datendopplungen?

• Verteilung: Liegen die Werte innerhalb der erwarteten statistischen Grenzen, oder gibt es Ausreißer beziehungsweise Anomalien?

• Schema: Ist die Datenstruktur intakt, gibt es Typänderungen oder zum Beispiel neue oder gelöschte Spalten?

• Herkunft: Woher stammen die Daten, und wie fließen sie durch die Systeme wohin?

(ID:50975767)