Mobile-Menu

Methode zum Schutz vor Datenverlust Was ist Erasure-Coding?

Von Dipl.-Ing. (FH) Stefan Luber 2 min Lesedauer

Anbieter zum Thema

Erasure-Coding schützt mit einem speziellen Codierungsverfahren vor Datenverlust. Daten können aus noch vorhandenen Datenblöcken wiederhergestellt werden. Erasure-Coding kommt für Storage-Systeme zum Einsatz, bei denen die Daten trotz Ausfalls eines oder mehrerer Speichermedien oder -standorte erhalten bleiben sollen.

Die wichtigsten IT-Fachbegriffe verständlich erklärt.(Bild:  © aga7ta - Fotolia)
Die wichtigsten IT-Fachbegriffe verständlich erklärt.
(Bild: © aga7ta - Fotolia)

Als Erasure-Coding wird eine Methode zum Schutz vor Datenverlust bezeichnet. Die Daten werden verteilt und codiert mit einem speziellen Coding-Verfahren, das eine gewisse Datenredundanz hinzufügt, gespeichert. Durch den Ausfall eines oder mehrerer Speichermedien oder Speicherstandorte verlorene Datenblöcke oder beschädigte Dateien lassen sich aus den noch vorhandenen Daten wiederherstellen. Gegenüber einer einfachen Replikation oder Spiegelung von Daten ist der Storage-Overhead deutlich reduziert.

Die für das Erasure-Coding verwendeten mathematischen Algorithmen werden der Kategorie der FEC-Codes (Forward Error Correction Codes – Vorwärtsfehlerkorrektur-Codes) zugeordnet. Die Entwicklung erster Erasure-Codes fand bereits in den 1960er-Jahren statt und geht auf Irving Reed and Gustave Solomon zurück. Es gibt mittlerweile eine ganze Reihe an Erasure-Coding-Schemata. Eines davon ist das nach den Erfindern benannte Reed-Solomon-Coding.

Erasure-Coding kann anstelle von RAID-Verfahren zum Einsatz kommen. Auch das HDFS (Hadoop Distributed File System) und andere verteilte Dateisysteme oder Storage-Lösungen machen von Erasure-Coding Gebrauch.

Die prinzipielle Funktionsweise von Erasure-Coding

Etwas vereinfacht dargestellt, läuft das Erasure-Coding in folgenden Schritten ab. Zunächst werden die zu speichernden Daten in mehrere Fragmente aufgeteilt. Diese Datenfragmente werden anschließend mit einem Erasure-Code codiert. Dieser fügt ihnen redundante Informationen hinzu. Die so erweiterten Datenfragmente werden verteilt auf mehrere Speichermedien, Storage-Nodes oder Standorte gespeichert. Je nach angewandtem Codierungsverfahren kann eine bestimmte Anzahl an Speichermedien, Storage-Nodes oder Standorte ausfallen, ohne dass Daten verloren gehen. Beispielsweise werden in einer 4/6-Konfiguration die Fragmente auf sechs Speichermedien, Storage-Nodes oder Standorte verteilt. In dieser Konfiguration können trotz des Ausfalls von bis zu zwei Speichermedien, Storage-Nodes oder Standorten die Daten wieder rekonstruiert werden. Die gewünschte Konfiguration lässt sich über den Erasure-Code einstellen.

Die Vor- und Nachteile von Erasure-Coding

Erasure-Coding bietet gegenüber anderen Methoden zur Absicherung gegen Datenverlust wie Replikation oder Mirroring einige Vorteile. Zu diesen zählen:

  • skalierbarer Schutz für die Speicherung großer Datenmengen,
  • reduzierter Storage-Overhead und höhere Speichereffizienz im Vergleich zu herkömmlichen Replikationsmethoden ,
  • flexibel einstellbare Redundanz und Fehlertoleranz,
  • ideal für verteilte Storage-Umgebungen mit hohen Anforderungen hinsichtlich Datenbeständigkeit, -verfügbarkeit und -zuverlässigkeit.

Als Nachteile von Erasure-Coding lassen sich aufführen:

  • eine größere Anzahl an Speichermedien, Storage-Knoten oder Standorte ist notwendig, um eine gute Storage-Effizienz zu erzielen,
  • höhere Komplexität der Verfahren zum Lesen und Schreiben der Daten,
  • höhere CPU-Belastung durch Anwendung der Erasure-Codes und Berechnung des Redundanz-Overheads.

(ID:50253070)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Data-Storage und -Management

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung