Was ist das Google File System (GoogleFS)?

Dateisystem für riesige Datenmengen Was ist das Google File System (GoogleFS)?

14.02.2023 Von Dipl.-Ing. (FH) Stefan Luber 2 min Lesedauer

Anbieter zum Thema

Das Google File System ist ein von Google entwickeltes Dateisystem. Es hat eine extreme Skalierbarkeit und ist für verteilte Umgebungen vorgesehen. Mit dem Dateisystem lassen sich riesige GFS-Cluster realisieren. GoogleFS wurde für Google-Anwendungen mit Datenverarbeitungsanforderungen riesiger Datenmengen wie dem Index der Google-Suche oder Google Mail entwickelt. 2010 wurde es durch ein neueres Dateisystem mit der Bezeichnung „Colossus“ abgelöst.

Die wichtigsten IT-Fachbegriffe verständlich erklärt.(Bild: © aga7ta - Fotolia) — Die wichtigsten IT-Fachbegriffe verständlich erklärt.
(Bild: © aga7ta - Fotolia)

Abkürzungen für das Google File System sind GoogleFS oder GFS. Es handelt sich um ein von Google entwickeltes, proprietäres Dateisystem für verteilte Umgebungen. Mit dem Dateisystem lassen sich riesige GFS-Cluster mit mehr als tausend Knoten und hunderten Terabyte Daten realisieren, welche die Datenverarbeitungsanforderungen interner Anwendungen wie die Google-Suche oder Google Mail erfüllen. Das Dateisystem ist hochverfügbar, extrem skalierbar, fehlertolerant und bietet eine hohe Performance.

Für die Storage-Systeme lässt sich günstige, handelsübliche Standard-Hardware verwenden. Das Google File System ist aus einer vorherigen Entwicklung mit der Bezeichnung „BigFiles“ hervorgegangen. 2010 wurde GoogleFS durch das Nachfolgedateisystem Colossus ersetzt, das Skalierungslimitierungen aufhebt. Mit Colossus lassen sich bis zu hundertfach größer Cluster als die größten GFS-Cluster bilden.

Prinzipieller Aufbau und Funktionsweise des Google File Systems

Im Wesentlichen setzt sich das Google File System aus diesen drei Funktionskomponenten zusammen:

GFS-Master-Server,

GFS-Chunk-Server,

GFS-Client.

Der Master-Server koordiniert den GFS-Cluster. Er speichert die Metainformationen der Dateien und steuert die Aktivitäten im Cluster.

Auf den GFS-Chunk-Servern sind die eigentlichen Daten gespeichert. Ein Cluster kann aus Hunderten von Chunk-Servern bestehen. Die Dateien, die bis zu mehrere Gigabyte groß sein können, sind in 64 Megabyte große Chunks (Stücke) aufgeteilt, um sie über mehrere Server verteilt abzulegen. Alle Dateien sind aus Redundanzgründen mindestens dreimal pro Cluster gespeichert.

GFS-Clients sind Programme, Anwendungen oder Services mit Zugriff auf die Dateien des GoogleFS. Sie können Dateien anlegen, verändern oder löschen. Das Dateisystem ist auf das Lesen oder Anhängen neuer Daten optimiert. Löschvorgänge einzelner Dateien finden relativ selten statt.

Merkmale und Eigenschaften des Google File Systems

Die typischen Merkmale des Google File Systems sind:

verteiltes Dateisystem für Cluster mit mehr als tausend Servern und vielen hundert Terabyte von Daten,

hochverfügbar und extrem skalierbar,

für hohen Datendurchsatz optimiert,

mit Verzeichnissen hierarchisch organisiert,

Unterstützung der Dateioperationen Anlegen, Löschen, Öffnen, Lesen, Schließen und Schreiben von Dateien und Anhängen von Daten,

Aufteilung der Dateien in gleich große Chunks (Stücke),

automatisches mehrfaches Speichern der Dateien pro Cluster,

Ausfall einzelner Server wird kompensiert,

optimierte Performance für das Lesen und Anhängen von Daten,

ineffizient im Umgang mit kleinen Dateien.

(ID:48987256)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Data-Storage und -Management

Geschäftliche E-Mail

Bitte geben Sie eine gültige E-Mailadresse ein.

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Stand: 08.12.2025

Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.

Einwilligung in die Verwendung von Daten zu Werbezwecken

Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.

Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.

Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.

Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.

Recht auf Widerruf

Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.