Suchen

Storage-Lösungen für Big Data

Ein Ende der Datensammelwut ist nicht in Sicht

Seite: 2/2

Firmen zum Thema

Big Storage mit Hadoop

Um die Fülle unstrukturierter Daten effektiv auswerten zu können, reichen Bandbreite und Werkzeuge herkömmlich relationaler Datenbanken (RDBMS) nicht mehr aus. Anfragen, die früher über Nacht erfolgten, dauern heute mehrere Tage und sind nicht mehr praktikabel, beziehungsweise immer öfter nicht mehr durchführbar. Die offene Software im Apache-Hadoop-Projekt löst dieses Big-Data-Problem auf zwei Wege. Das hoch skalierbare Hadoop Distributed File System (HDFS) erleichtert das Speichern, Managen und Sichern sehr großer Datenbestände. Sein leistungsstarkes MapReduce-Programmiermodell kann die Rechenleistung mehrerer Standardserver in einem einzigen Hochleistungscluster bündeln. Mit MapReduce lassen sich große Datenbestände im Bruchteil der Zeit analysieren, die traditionelle RDBMS-Methoden brauchen.

Big Storage mit Lustre

Die Gesamtperformance und Recheneffizienz im Bereich Big Bandwidth beeinflusst neben Netzwerk und Storage vor allem das Filesystem. Lustre ist im Hochleistungsumfeld das am meisten verwendete Filesystem für die schnellsten Supercomputer weltweit. Es zeichnet sich durch effiziente Skalierung von Bandbreite und Storage-Dichte aus, womit es die Integration Zehntausender Clients oder mehrerer Petabyte an Speicherplatz sowie mehrere Hundert Gigabyte pro Sekunde an I/O-Durchsatz ermöglicht.

Das parallele Filesystem ist so das geeignete Mittel für komplexe Aufgaben in Forschung, Modellierung und Simulation mit Schwerpunkt High Performance Computing. So können entsprechend optimierte Storage-Lösungen mit Lustre eine Schreibgeschwindigkeit von 30 Gigabyte pro Sekunde erreichen und trotzdem Daten effektiv managen.

Fazit

Big Data ist eine große Chance, die sich mit vorkonfigurierten Lösungen auf Basis speziell zusammengestellter Storage-Systeme und der zugehörigen Techniken – für Datenmanagement und Analyse – viel leichter als bisher erschließt.

Mit modernen Storage-Systemen ist ein Hadoop Cluster beispielsweise in wenigen Stunden einsatzbereit. Gleichzeitig führen Kunden neue Mittel und Wege der Datenstrukturierung ein. So legen sie indirekt das technologische Fundament für neue Lösungen: Echtzeit-In-Memory-Analyse im Enterprise-Umfeld – Stichwort SAP HANA –wird beispielsweise erst durch neue Datenstrukturen möglich und nur mit einer horizontal skalierbaren und hochverfügbaren Storage-Infrastruktur vollständig.

(ID:32413080)