Echtzeitdaten im Dienste der Analyse – aber bitte strukturiert Confluent Tableflow bringt Struktur in Datenströme

Anbieter zum Thema

Confluent Germany GmbH

Fsas Technologies GmbH

FAST LTA GmbH

Impossible Cloud GmbH

Confluent erklärt Tableflow für allgemein verfügbar – und verspricht, das Datenmanagement zwischen operativen Systemen und Analytics radikal zu vereinfachen. Die Unterstützung offener Tabellenformate wie Iceberg und Delta Lake soll dabei helfen, isolierte Datenströme für KI nutzbar zu machen.

Wenn es um Künstliche Intelligenz in Unternehmen geht, ist die Rede oft von Modellen, Tools und neuen Fähigkeiten. Weit seltener geht es darum, worauf KI-Modelle zwingend angewiesen sind: konsistente, aktuelle und vertrauenswürdige Daten. Dabei sei gerade dieser Mangel einer der Hauptgründe für das Scheitern vieler KI-Projekte – so zumindest die aktuelle Prognose „IDC FutureScape: Worldwide Digital Infrastructure 2025 Predictions“ von IDC. Demnach müssten bis 2027 rund 70 Prozent der IT-Teams ihre KI-Vorhaben neu aufsetzen, weil die bestehenden Dateninfrastrukturen nicht tragfähig genug seien.

Die Kritik der Marktforscher zielt auf ein altbekanntes Problem: Daten liegen in Silos, oft redundant kopiert, fragmentiert über Systeme hinweg – und selten in dem Zustand, in dem sie für moderne KI- oder Analyseprozesse unmittelbar brauchbar wären.

An dieser Stelle will Confluent mit seiner Lösung Tableflow ansetzen. Das Unternehmen positioniert Tableflow als Bindeglied zwischen operativen Datenströmen in Apache Kafka und analytischen Zielspeichern wie Data Lakes oder Warehouses – in Echtzeit und mit Unterstützung gängiger offener Tabellenformate wie Apache Iceberg (GA) und Delta Lake (im Early Access).

Vom Stream zur Tabelle – in Echtzeit

Tableflow übersetzt Kafka-Topics direkt in Iceberg-kompatible Tabellenstrukturen. Das soll es Dateningenieuren ermöglichen, Streaming-Daten ohne Umwege in Analyseplattformen einzubinden – etwa Snowflake, Amazon Athena oder Redshift. Die dabei anfallenden Wartungsaufgaben wie Datenkomprimierung, Merging oder Schema-Management übernimmt Tableflow automatisiert.

Ein zentraler Aspekt sei dabei die Entkopplung von Datenquelle und Datenverbrauch: Operative Anwendungen erzeugen Daten im Stream, die Analyse- oder KI-Engine greift später in strukturierter Form darauf zu – ohne dass die Daten mehrfach bewegt oder manuell transformiert werden müssen.

Das sei insbesondere bei KI-Szenarien entscheidend. Ein Beispiel nennt Confluent im Kontext von Bestandsmanagement: Ein KI-Agent könne nur dann in Echtzeit auf Nachfrage reagieren, wenn er kontinuierlich aktuelle Daten aus dem operativen Geschäft erhalte. Die klassische Batch-Verarbeitung hingegen bleibe zu langsam, zu ungenau und verschärfe das Problem redundanter Kopien.

Delta Lake im Testlauf, Storage nach Wahl

Neben Iceberg hat Confluent auch ein Early-Access-Programm für Delta Lake gestartet, das von Partner Databricks gepflegt wird. Mit über zehn Exabyte täglicher Datenverarbeitung zählt Delta zu den am weitesten verbreiteten Formaten in Cloud-nativen Analyseumgebungen. Ziel sei es, durch die Integration mit dem Databricks Lakehouse eine konsistente Sicht auf operative und analytische Daten bereitzustellen – unabhängig davon, ob sie aus Kafka, Snowflake oder anderen Quellen stammten.

Zugleich erlaubt Tableflow laut Anbieter künftig das Prinzip „Bring Your Own Storage“: Unternehmen können ihre bestehenden Iceberg- oder Delta-Tabellen verwenden und den zugrunde liegenden Speicherort selbst definieren – etwa S3-Buckets oder vergleichbare Dienste. Das soll helfen, Speicher-Compliance und interne Vorgaben zum Data Ownership einfacher umzusetzen.

Katalogintegration und Partnerstrategie

Ein weiterer Baustein betrifft die Metadatenverwaltung: Tableflow unterstützt nun die Katalogdienste AWS Glue Data Catalog sowie den Snowflake Open Catalog. Das erleichtere nicht nur die Integration in bestehende Datenarchitekturen, sondern reduziere auch den manuellen Aufwand für Datenverwaltung und Governance.

Über verschiedene Integrationen hinweg will Confluent damit sicherstellen, dass „nur hochwertige, konsistente Daten“ in analytische Systeme gelangen – so das Unternehmen. Die Datenpflege erfolge bereits beim Eintreffen des Streams, nicht erst per Downstream im Analyseprozess.

In der Breite setzt Confluent auf ein wachsendes Partnernetzwerk, das Systemintegratoren wie Tata Consultancy Services, Psyncopate oder GoodLabs Studio umfasst. Diese sollen Unternehmen dabei unterstützen, Tableflow in bestehende Prozesse zu integrieren.

Mehr Struktur, weniger Silos

Mit Tableflow vollzieht Confluent einen konsequenten Schritt vom reinen Datenstreaming-Anbieter hin zum Bindeglied zwischen operativen Echtzeitdaten und strategischer Datenanalyse. Die Unterstützung offener Tabellenformate erlaubt eine flexible Integration – und dürfte insbesondere für Unternehmen mit heterogenen Dateninfrastrukturen interessant sein.

Ob sich der Aufwand lohnt, hängt letztlich von der Praxis ab: Tableflow verspricht, das Problem isolierter, inkonsistenter Daten anzugehen – und damit genau jenen Flaschenhals zu lösen, an dem laut IDC ein Großteil künftiger KI-Projekte scheitern könnte.

(ID:50383857)