lakeFS als Open-Source-Datenversionskontrolle

Speichertipp: Git-Prinzipien für das Data-Lake-Management lakeFS als Open-Source-Datenversionskontrolle

25.11.2025 Von Thomas Joos 2 min Lesedauer

Anbieter zum Thema

DataCore Software GmbH

FAST LTA GmbH

Impossible Cloud GmbH

lakeFS ist ein Open-Source-Werkzeug für Data Version Control, das Objektspeicher in ein Git-ähnliches Repository verwandelt. Es ermöglicht reproduzierbare Datenoperationen, sichere ETL-Tests und Rollbacks. Damit lassen sich Data Lakes strukturiert verwalten und in moderne Analyse- und ML-Workflows integrieren.

Mit der Open-Source-Software lakeFS lassen sich Objektspeicher in Git-ähnliche Repositorys verwandeln.(Bild: Midjourney / KI-generiert) — Mit der Open-Source-Software lakeFS lassen sich Objektspeicher in Git-ähnliche Repositorys verwandeln.
(Bild: Midjourney / KI-generiert)

lakeFS überträgt das Konzept der Versionskontrolle aus der Softwareentwicklung in die Welt der Datenspeicherung. Die Open-Source-Plattform verwandelt Objektspeicher wie AWS S3, Azure Blob Storage oder Google Cloud Storage in Git-ähnliche Repositorys. Damit können Data Lakes wie Code verwaltet werden: mit Branches, Commits und Rollbacks. Alle Änderungen am Datenbestand bleiben nachvollziehbar, reproduzierbar und lassen sich bei Bedarf rückgängig machen.

Als Projekt unter Apache-2.0-Lizenz ist lakeFS frei verfügbar und wird von einer aktiven Community getragen. Nutzer erhalten Support über Slack, GitHub und Konferenzbeiträge.

Reproduzierbarkeit und Testbarkeit von Datenpipelines

Für komplexe ETL-Prozesse, maschinelles Lernen und Analysen schafft lakeFS die Möglichkeit, isolierte Kopien produktiver Datenumgebungen zu erzeugen, ohne Daten physisch zu duplizieren. Branches erlauben es, Transformationsjobs in einer Testumgebung auszuführen und bei Erfolg in den Hauptzweig zu übernehmen. Diese Git-Analogie macht es möglich, Datenzustände über längere Zeiträume präzise nachzuvollziehen und Experimente jederzeit zu wiederholen.

Mit Write-Audit-Publish-Praktiken lassen sich Datenqualitätstests und Governance-Vorgaben automatisieren. Hooks stellen sicher, dass nur geprüfte Datensätze in die Produktionsumgebung übernommen werden. So können Validierungen von Formaten, Schemen oder Datenschutzauflagen in den Workflow integriert werden. Fehlerhafte Daten lassen sich durch Rollback auf einen früheren konsistenten Zustand korrigieren.

Integration in bestehende Daten-Ökosysteme

Die API-Kompatibilität zu S3 ermöglicht die Nutzung mit gängigen Frameworks wie Spark, Hive, Athena, DuckDB und Presto. lakeFS unterstützt strukturierte, unstrukturierte und offene Tabellenformate gleichermaßen. Die Integration in Orchestrierungstools und Machine-Learning-Pipelines eröffnet Möglichkeiten für reproduzierbare Feature-Engineering-Prozesse und deduplizierte Experimente.

Aktuelles eBook

Storage-Software als Effizienzbooster

Mit der geeigneten Storage-Software kann sich ein Unternehmen einen Effizienzbooster ins Haus holen oder in der Cloud abonnieren. Dieser Booster steigert nicht nur die Performance der geschäftskritischen Anwendungen, sondern optimiert auch die Kosten der bereits installierten Speichersysteme.

Die Themen im Überblick:

Herausforderungen eines modernen Speichersystems
Methoden und Technologien effizienter Speichersysteme
Effizienter Speicher mit Pure Storage, AWS, Cohesity und Dell

eBook „Storage-Software als Effizienzbooster“ kostenlos downloaden

(ID:50615367)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Data-Storage und -Management

Geschäftliche E-Mail

Bitte geben Sie eine gültige E-Mailadresse ein.

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Stand: 08.12.2025

Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.

Einwilligung in die Verwendung von Daten zu Werbezwecken

Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.

Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.

Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.

Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.

Recht auf Widerruf

Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.