Mobile-Menu

Tipp: Produktionsreifes Lakehouse-Format für Daten auf Objektspeicher DuckLake legt Metadaten in SQL-Datenbanken

Von Thomas Joos 2 min Lesedauer

Anbieter zum Thema

DataCore Software GmbH
FAST LTA GmbH

Lakehouse-Formate verbinden Datenbanktabellen mit Dateien auf günstigem Objektspeicher. Die verbreiteten Ansätze legen ihre Verwaltungsdaten als Dateien daneben und brauchen oft zusätzliche Katalogdienste. Ein quelloffenes Format verschiebt diese Verwaltungsdaten in eine gewöhnliche SQL-Datenbank und vereinfacht den Betrieb für Datenteams und Storage-Verantwortliche.

DuckLake speichert die Nutzdaten auf S3-kompatiblem Objektspeicher und hält die Metadaten in einer SQL-Datenbank.(Bild: KI-generiert)
DuckLake speichert die Nutzdaten auf S3-kompatiblem Objektspeicher und hält die Metadaten in einer SQL-Datenbank.
(Bild: KI-generiert)

Das Projekt DuckLake hat die Version 1.0 seines Lakehouse-Formats als produktionsreif veröffentlicht. DuckLake speichert die eigentlichen Nutzdaten als Parquet-Dateien auf S3-kompatiblem Objektspeicher und hält sämtliche Metadaten in einer SQL-Datenbank. Als Katalog dienen SQLite, PostgreSQL oder DuckDB selbst. Für Administratoren und Datenteams verlagert dieser Zuschnitt die Verwaltung eines Data Lake von verstreuten Dateien in ein transaktionssicheres Datenbanksystem.

Metadaten in der Datenbank statt in Dateien

Apache Iceberg, Delta Lake und Apache Hudi legen ihre Metadaten überwiegend als Dateien im Objektspeicher ab und setzen für die Konsistenz oft einen zusätzlichen Katalogdienst darüber. DuckLake dreht diese Aufteilung um und schreibt Schema, Snapshots und Statistiken direkt in Tabellen einer SQL-Datenbank. Eine Abfrage nach dem aktuellen Stand einer Tabelle beantwortet damit die Datenbank in einer einzigen Transaktion, ohne dass ein Client viele kleine Metadatendateien aus dem Objektspeicher einsammeln muss.

Der Aufbau senkt die Zahl der Zugriffe und beschleunigt den Blick auf große Tabellen mit vielen Snapshots. Zugleich erhält jede Änderung einen Zeitstempel im Katalog, sodass ein Zugriff auf frühere Datenstände erhalten bleibt.

Transaktionen und kompatible Löschvektoren

Version 1.0 sichert eine stabile Grundlage mit garantierter Abwärtskompatibilität zu. Kleine Änderungen landen bei Bedarf direkt in der Datenbank, was die Ablage vieler winziger Dateien bei einzelnen Einfügungen oder Löschungen vermeidet. Sortierte Tabellen und eine Verteilung nach Hash-Werten beschleunigen gefilterte Abfragen auf Spalten mit hoher Kardinalität. Die Verteilung nutzt denselben murmur3-Hash wie Apache Iceberg und bleibt damit kompatibel. Löschvektoren markieren entfernte Zeilen im Iceberg-Format, sodass sich Daten zwischen beiden Formaten austauschen lassen.

Betrieb mit vorhandenen Datenbanken

Für den Einstieg genügt eine SQLite-Datei als Katalog, für den Mehrbenutzerbetrieb übernimmt PostgreSQL die zentrale Verwaltung. Die Umsetzung erfolgt über eine Erweiterung von DuckDB, die das Format liest und schreibt. Storage-Verantwortliche trennen damit die Kapazität auf günstigem Objektspeicher von der Verwaltung im Datenbanksystem und sichern beide Ebenen mit vertrauten Mitteln. Die nächste Zwischenversion mit weiteren Funktionen ist für September 2026 angekündigt.

Fazit

DuckLake verlagert die Metadaten eines Lakehouse aus dem Objektspeicher in eine SQL-Datenbank und macht damit Transaktionen und schnelle Statusabfragen ohne separaten Katalogdienst möglich. Die Kompatibilität zu Apache Iceberg bei Partitionierung und Löschvektoren hält den Weg zu anderen Formaten offen. Mit der als produktionsreif gekennzeichneten Version 1.0 richtet sich das Projekt an Datenteams und Storage-Verantwortliche, die einen Data Lake mit vertrauten Datenbankwerkzeugen betreiben.

Aktuelles E-Book

Datenmigration – so funktioniert der Storage-Umzug

E-Book Datenmigration
E-Book „Datenmigration“
(Bild: Storage-Insider)

Im Zuge der Digitalisierung ändern sich die Anforderungen an Storage-Systeme. Sie müssen leistungsfähiger, skalierbarer und insgesamt flexibler sein. Unternehmen führen neue Systeme wie etwa All-Flash-Arrays ein, verlagern Dienstleistungen der IT-Abteilung in die Public- oder Hybrid-Cloud, ziehen sogar das Rechenzentrum um und erkennen möglicherweise die Chance oder die Notwendigkeit, IT-Services und Storage-Infrastruktur zu konsolidieren.

Die Themen im Überblick:

  • Operation am offenen Herzen – Einleitung
  • Wann eine Datenmigration nötig und sinnvoll ist
  • Was bei der Datenmigration zu beachten ist
  • Die konkrete Umsetzung der Datenmigration
  • Sonderfälle und Fallstricke

E-Book „Datenmigration“ kostenlos downloaden

(ID:50905260)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Data-Storage und -Management

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte