Mobile-Menu

Einfacheres Datenmanagement für generative KI-Anwendungen Fivetran bietet Delta-Lake-Support auf Amazon S3

Von Bernhard Lück 2 min Lesedauer

Anbieter zum Thema

Fivetran Germany GmbH
Amazon Web Services Germany GmbH
DataCore Software GmbH
Impossible Cloud GmbH

Fivetran baut seine Unterstützung für Amazon S3 als Data-Lake-Destination aus. Hunderttausende von Data Lakes laufen bereits auf dem Object Storage Service von AWS. Fivetran-Anwender könnten künftig ihre Daten in Amazon S3 ablegen und einfach auf ihre Delta-Lake-Tabellen zugreifen.

Mit der Datenplattform von Fivetran lassen sich Daten aus über 400 Quellen automatisch extrahieren und laden.(Bild: Fivetran)
Mit der Datenplattform von Fivetran lassen sich Daten aus über 400 Quellen automatisch extrahieren und laden.
(Bild: Fivetran)

Data Lakes eignen sich aufgrund ihrer Flexibilität und Skalierbarkeit für den Umgang mit großen Mengen an unstrukturierten und semistrukturierten Daten. Die Automatisierung dieses Prozesses von Fivetran verwandle Data Lakes von traditionell nicht verwalteten Datenspeichern in organisierte, kontrollierte, benutzerfreundliche Repositories. So könnten Unternehmen schnell auf Daten zugreifen und sie für eine Vielzahl von Anwendungsfällen nutzen, etwa für Predictive Analytics, generative KI, Machine-Learning-Modelle (ML) und große Sprachmodelle (Large Language Models, LLMs).

Bereits im April 2023 präsentierte Fivetran den Support für Amazon S3 mit Apache Iceberg. „Wir sind begeistert, dass wir unseren Kunden die nahtlose Nutzung von Delta Lake auf Amazon S3 ermöglichen können“, sagt Fraser Harris, VP of Product bei Fivetran. „Data Lakes haben sich als ideale Grundlage für Machine Learning, KI-Projekte sowie für Generative AI erwiesen. Mit dieser Erweiterung vereinfachen wir das Datenmanagement für solche Projekte erheblich.“

Die No-Code-Plattform von Fivetran biete Unternehmen die Möglichkeit, Daten aus nahezu jeder Datenquelle an jede Destination zu übertragen. Unabhängig davon, ob sich Kundendaten in lokalen Datenbanken, Data Warehouses oder Lakes, SaaS-Anwendungen (Software-as-a-Service), Dateien oder anderen Quellen befinden, könne Fivetran sie mit einer Uptime von 99,9 Prozent von einer Quelle zur anderen verschieben und replizieren, etwa für die Migration strategischer Daten-Workloads aus einem Cloud-Data-Warehouse in einen Data Lake zur Verwendung bei der KI/ML-Modellierung, für den Aufbau generativer KI-Anwendungen oder für die Replikation kompletter lokaler Produktionsdatenbanken in der Cloud – alles unter gleichzeitiger Erfassung der sich ändernden Daten, sodass Cloud-Daten jederzeit synchron gehalten würden.

Die Datenplattform von Fivetran könne Kundendaten automatisch in das Delta-Lake-Format konvertieren und dabei die Datenqualität durch Anonymisierung persönlich identifizierbarer Informationen (PII) sowie durch Bereinigung und Normalisierung der Daten gewährleisten. Die über 400 vorgefertigten Konnektoren unterstützen lokale und Cloud-Datenbanken, Data Warehouses, SaaS-Anwendungen, Data-Events und Dateien. Auf Wunsch könne Fivetran auch benutzerdefinierte Konnektoren erstellen.

(ID:49884211)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Data-Storage und -Management

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte