Swiss Institute of Bioinformatics senkt mit Quantum Stornext die Speicherkosten Mit der Präzision steigen Datenvolumen und Dateigröße

Die Genomforschung wird immer detailreicher, die Datenmenge umfangreicher. Ohne das richtige Speicherkonzept laufen die Kosten jedoch schnell aus dem Ruder.

Anbieter zum Thema

PoINT Software & Systems GmbH

FAST LTA GmbH

iTernity GmbH

Quantum Boehmenkirch GmbH & Co. KG

Konfrontiert mit einem ausufernden Datenwachstum infolge neuester Sequenzierungsverfahren, implementierte das Swiss Institute of Bioinformatics (SIB) eine Lösung für das hierarchische Speichermanagement (HSM) mit der Datenmanagementsoftware Quantum Stornext sowie Hardware von HP als Kernkomponenten.

Neben einem performanten File-Sharing sowie leistungsstarker Datensicherung konnten damit auch die Gesamtspeicherkosten des SIB um 50 Prozent gesenkt werden.

Speicherinfrastruktur durch immenses Datenwachstum unter Druck

Das Schweizerische Institut für Bioinformatik ist ein Verbund aus Forschungs- und Dienstleistungsgruppen führender Schweizer Universitäten und Institute. Herzstück des SIB ist das Vital-IT Center, ein HPC-Joint Venture zwischen Partnern aus Forschung/Lehre und der Industrie.

Aufgabe dieses Zentrums für Biowissenschaften ist es, die Entwicklung und Optimierung von Software, HPC (High-Performance Computing) und die Datenspeicherung für den Biologie- und Medizinsektor zu fördern.

Die Bioinformatik – d.h. die Bearbeitung biologischer Probleme durch angewandte Informationstechnik – erzeugt ein stetig wachsendes Volumen an Daten. Ein gutes Beispiel hierfür ist die DNA-Sequenzanalyse im Rahmen des weltweiten Humangenomprojekts.

Exaktere Sequenzierung steigert Datenvolumen um Faktor 7

Durch neue Berechnungsverfahren und schnellere Rechner lassen sich Genome heute schneller sequenzieren als je zuvor. Ein einzelnes Experiment erzeugt jedoch pro Durchlauf alle 3,5 Tage bis zu 743.000 Dateien mit durchschnittlich insgesamt 2 TByte.

Ebenso groß sind auch die Performance-Anforderungen: Datenanalysen setzen aggregierte Lesevorgänge mit 600 MByte/s und aggregierte Schreibvorgänge von 400 MByte/s voraus.

Das Datenvolumen pro Durchlauf ist beim SIB in den letzten Jahren erheblich angestiegen. Wurden 2007 noch 1 TByte an Roh- und verarbeiteten Daten pro Woche generiert, stieg der entsprechende Wert 2009 bereits auf 7 TByte pro Woche. Weiteres Datenwachstum ist sehr wahrscheinlich.

Entsprechend problematisch gestaltete sich für das Vital-IT Center die Speicherung, Sicherung und Verwaltung der Daten, da durch die ständige Anpassung des Speicherbedarfs alle budgetierten Finanzmittel ausgeschöpft waren.

Millionen Dateien, Backup und Disaster Recovery unter einen Hut bringen

„Wir benötigten eine Speicherinfrastruktur, die sich auf mehrere Petabyte Daten skalieren lässt und Hunderte Millionen Dateien verwalten kann“, so Roberto Fabbretti, IT-Manager im Vital-IT-Center. „Wir wollten einen gesonderten Backup-Prozess vermeiden und eine umfassende DR-Lösung bereitstellen – all das im Rahmen einer kosteneffektiven Speicherumgebung.“

Im IT-Center erwog man zunächst den Einsatz einer herkömmlichen SAN- (Storage Area Network) oder NAS-Umgebung (Network Attached Storage). Während ein SAN die zentrale Speicherung und einen schnellen Abruf der Daten ermöglicht hätte, wurden die Kosten für die Bereitstellung einer FC-Infrastruktur als zu hoch befunden.

Auch eine NAS-Lösung wurde aus Kostengründen sowie aufgrund der damit verbundenen Einschränkungen bei Performance und Skalierbarkeit verworfen. Beide Optionen hätten zudem auch nicht die erforderliche Datensicherung gewährleistet, denn im Pharma- und Biotechnologiebereich müssen Originaldaten zwingend bis zu 20 Jahre aufbewahrt werden.

Stornext bingt im Dateisystem alle Storage-Komponenten zusammen

Als Alternative diskutierte Vital-IT mit Partnern eine HSM-Lösung (hierarchisches Storage Management), die Daten automatisch zwischen Festplatten-Arrays und Tape-Speicher verschiebt und trotzdem zahlreichen Anwendern flexiblen Zugriff in Höchstgeschwindigkeit ermöglicht. Im Global Name Space Stornext von Quantum fand man das alle Anforderungen abdeckende Produkt.

weiter mit: Mit dem Distributed LANClient die Zugriffe beschleunigen

(ID:2048801)