Spitzenleistung mit Dateisystem für Big-Data-Anwendungen erzielt

IBM scannt und erfasst zehn Milliarden Dateien in 43 Minuten

26.07.2011 | Redakteur: Nico Litzel

Zehn Milliarden Dateien in 43 Minuten – IBM stellt mit dem GPFS-Dateisystem einen neuen Rekord auf.
Zehn Milliarden Dateien in 43 Minuten – IBM stellt mit dem GPFS-Dateisystem einen neuen Rekord auf.

Forscher von IBM haben einen neuen Rekord aufgestellt: In einem Versuch ist es gelungen, auf einem Cluster-System mithilfe des General Parallel File System (GPFS) zehn Milliarden Dateien in nur 43 Minuten zu scannen und zu erfassen. Damit wurde der bisherige Rekord von 2007 – eine Milliarde Dateien in drei Stunden – um den Faktor 37 verbessert.

Die jetzige Spitzenleistung wurde mit dem Dateisystem GPFS und einem Cluster erreicht, der aus zehn Achtkern-Serversystemen aufgebaut ist und über SSD-Speicher verfügt. Der GPFS-Algorithmus ermöglicht die komplette Ausnutzung aller Prozessorkerne in allen Maschinen und in allen Aufgabenphasen – Daten lesen, diese sortieren und die vorgegebenen Datenmanagement-Regeln anwenden. GPFS konnte dabei laut IBM die eingesetzte SSD-Appliance mit 6,8 Terabyte Kapazität bei einer hervorragenden Random-Leistung und hohen Datentransferraten ausnützen, um die Speicher-Metadaten abzulegen.

„Der Nachweis der GPFS-Skalierbarkeit eröffnet den Weg für neue Produkte, die die Anforderungen einer Multi-Zettabyte-Welt adressieren“, sagt Doug Balog, Vice President IBM-Speichersysteme. „Diese Innovation hat das Potenzial, sehr große Datenumgebungen auf einer einzigen Plattform zu vereinen und dabei Datenmanagementaufgaben – wie die Datenablage, Migration und das Backup einzelner Dateien – dramatisch zu vereinfachen und zu reduzieren.“

Kommentare werden geladen....

Was meinen Sie zu diesem Thema?

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 2052430 / Datei-Virtualisierung)