Mit der Präzision steigen Datenvolumen und Dateigröße

Anbieter zum Thema

„Wir haben verschiedene Lösungen geprüft“, führt Fabbretti aus. „Stornext arbeitet mit unserem HPC-Filesystem zusammen, beherrscht HSM und Datensicherung. Diese transport- und hardwareunabhängige Lösung bietet skalierbare Performance und einfache Volume-Anpassung sowie einen lückenlosen DR-Schutz für unsere 400 TByte an verwalteten Daten.“

Das Vital-IT Center implementierte eine Kombination aus Stornext File System und Stornext Storage Manager. Aktuell ist Stornext in eine Disk- und Tape Library-Umgebung von HP integriert, die sich aus zwei HP BL480 Stornext Metadaten-Servern, drei HP BL680 SAN-Gateways, einem HP Disk-Cache mit aktuell 160 TByte Speicherkapazität und einer auf 570 TByte skalierbaren HP Tape Library zusammensetzt.

Mit dem Distributed LAN Client die Zugriffe beschleunigen

Fabbretti und seine Kollegen sind mit den bislang erzielten Resultaten hoch zufrieden. „Stornext hat unsere Infrastruktur zur Datenspeicherung revolutioniert“, so Fabbretti. „Unser erstes Filesystem umfasst 22 Millionen Dateien, und das zweite, das wir erst vor kurzem angeschafft haben, enthält auch schon 2,5 Millionen Dateien.“

Das Stornext File System gestattet mehreren Benutzern hochperformanten Zugriff auf den zentralen Speicherpool. Als heterogenes System können die Daten sogar parallel über Anwendungen aus unterschiedlichen Betriebssystemen erfasst, gespeichert und analysiert werden.

Die Performance des Dateisystems wird mithilfe von „Affinitäten“ aus Stornext optimiert, die den Schreibvorgang von Daten aus einer physikalischen Festplatte auf eine andere koordinieren.

Der Zugriff mittels Standardprotokollen (NFS/CIFS) über Gigabit-Ethernet sowie das Infiniband-Netzwerk des SIB gewährleisten eine hohe Performance und Ausfallsicherheit. In absehbarer Zukunft wird das SIB voraussichtlich auch das Stornext-Performance-Protokoll, Distributed LANClient, implementieren, um die Zugriffsleistung für zentrale Anwender weiter zu optimieren.

Mit automatischer Migration Kosten senken

Bei großen Datenmengen ist es eigentlich nicht kosteneffektiv, mehrere Petabyte Daten auf High Peformance Disks vorzuhalten. Die Verwaltungs- und Administrationskosten für die manuelle Verschiebung von Daten auf preiswertere Speichersysteme würden die Kostenvorteile allerdings schnell aufzehten.

Erst ein automatisiertes System wie Stornext kann die Kostenvorteile realisieren.

Bei der DNA-Sequenzierung wird eine leistungsfähige Speicherung benötigt, um die Gesamt- wie auch die Teildaten effektiv zu erfassen. Die generierten Ergebnisse können hingegen ohne Weiteres auf kostengünstigeren Tape-Systemen und sekundären Festplatten abgelegt werden.

Der Stornext Storage Manager überträgt bei der Speicherung von Daten im Dateisystem entsprechend vordefinierter Regeln auch Kopien in andere Speicherebenen. Im Laufe der Zeit werden nicht verwendete Daten aus dem primären Speicher durch Stubs (Datei-Pointer) ersetzt, die auf die Kopien in den übrigen Speicherebenen zeigen.

Jetzt reicht das Budget wieder

Zur Sicherung der Daten werden beim Schreiben auf die primäre Festplatte auch Kopien im Tape-Ordner erstellt, sodass Backup-Fenster überflüssig werden. Damit erübrigen sich Investitionen in zusätzliche Hardware oder Software für Backups.

Im Katastrophenfall muss das SIB nicht erst den kompletten Datenbestand von 400 TByte wiederherstellen – ein Vorgang, der mehrere Monate in Anspruch nehmen würde – bevor die Daten wieder benutzbar sind.

Das System wird stattdessen in einen Nearline-Zustand versetzt, in dem alle Projektdaten wie gewohnt, aber mit einer gewissen Zugriffsverzögerung verfügbar gemacht werden. .

StorNext ermöglicht auch eine Vorhaltung der Rohdaten, die in zahlreichen anderen Sequenzierungszentren verworfen werden müssen. Auf diese Weise lassen sich die Sequenz-Tags beim Ausprobieren neuer Algorithmen an Originaldaten um 20 Prozent reduzieren.

„Durch den Umstieg auf Storext haben wir unsere Gesamtspeicherkosten um 50 Prozent gesenkt“, lautet deshalb das erfreuliche Fazit für Fabbretti.

(ID:2048801)

Swiss Institute of Bioinformatics senkt mit Quantum Stornext die Speicherkosten

Mit der Präzision steigen Datenvolumen und Dateigröße

Mit dem Distributed LAN Client die Zugriffe beschleunigen

Mit automatischer Migration Kosten senken