Spitzenleistung mit Dateisystem für Big-Data-Anwendungen erzielt

IBM scannt und erfasst zehn Milliarden Dateien in 43 Minuten

26.07.2011 | Redakteur: Nico Litzel

Zehn Milliarden Dateien in 43 Minuten – IBM stellt mit dem GPFS-Dateisystem einen neuen Rekord auf.

Forscher von IBM haben einen neuen Rekord aufgestellt: In einem Versuch ist es gelungen, auf einem Cluster-System mithilfe des General Parallel File System (GPFS) zehn Milliarden Dateien in nur 43 Minuten zu scannen und zu erfassen. Damit wurde der bisherige Rekord von 2007 – eine Milliarde Dateien in drei Stunden – um den Faktor 37 verbessert.

Die jetzige Spitzenleistung wurde mit dem Dateisystem GPFS und einem Cluster erreicht, der aus zehn Achtkern-Serversystemen aufgebaut ist und über SSD-Speicher verfügt. Der GPFS-Algorithmus ermöglicht die komplette Ausnutzung aller Prozessorkerne in allen Maschinen und in allen Aufgabenphasen – Daten lesen, diese sortieren und die vorgegebenen Datenmanagement-Regeln anwenden. GPFS konnte dabei laut IBM die eingesetzte SSD-Appliance mit 6,8 Terabyte Kapazität bei einer hervorragenden Random-Leistung und hohen Datentransferraten ausnützen, um die Speicher-Metadaten abzulegen.

„Der Nachweis der GPFS-Skalierbarkeit eröffnet den Weg für neue Produkte, die die Anforderungen einer Multi-Zettabyte-Welt adressieren“, sagt Doug Balog, Vice President IBM-Speichersysteme. „Diese Innovation hat das Potenzial, sehr große Datenumgebungen auf einer einzigen Plattform zu vereinen und dabei Datenmanagementaufgaben – wie die Datenablage, Migration und das Backup einzelner Dateien – dramatisch zu vereinfachen und zu reduzieren.“