Big Data speichern – Anforderungen, Verfahren, Lösungen Neues eBook: Storage-Systeme für große Datenmengen

Redakteur: Dr. Jürgen Ehneß

Täglich schwillt die Flut an Informationen, die aus Mobilgeräten, dem Internet, dem Edge und den Transaktionssystemen in die firmeneigene IT-Infrastruktur fließen, immer weiter an. Eines der Kennzeichen von Big Data ist die Unstrukturiertheit der Daten, die Unberechenbarkeit des Umfangs und der Häufigkeit ihres Auftretens sowie die meist mangelhafte Datenqualität der verschiedenartigen Informationstypen. Unser neues, kostenloses eBook widmet sich den wichtigen Fragen rund ums Big-Data-Speichern.

Firmen zum Thema

Wie speichert ein Unternehmen Big Data? Unser neues eBook „Storage-Systeme für große Datenmengen“ erläutert in drei Kapiteln, wie’s funktioniert.
Wie speichert ein Unternehmen Big Data? Unser neues eBook „Storage-Systeme für große Datenmengen“ erläutert in drei Kapiteln, wie’s funktioniert.
(Bild: Vogel IT-Medien)

In den vergangenen sechs Jahren ist aufgrund dieser Herausforderung ein Paradigmenwechsel eingetreten, was die Art der Datenverarbeitung von Big Data sowie ihre Speicherung in Storage-Systemen betrifft. Relationale Datenbanksysteme (RDBMS) sind in vielen Bereichen von quelloffenen Datenbanksystemen im Graph- und Data-Lake-Bereich abgelöst worden. Streaming und In-Memory-Datenverarbeitung haben den Bedarf an Netz- und Hauptspeicherkapazität in die Höhe schnellen lassen.

Die Frage stellte sich bislang, ob die vorhandenen Systeme im Storage-Bereich noch zu vertretbaren Kosten erweitert werden können oder ob die nötigen Kapazitäten nicht günstiger bei einem Cloud-Dienstleister zu mieten sind. Schließlich gehört der Betrieb einer IT-Infrastruktur nicht gerade zum Kerngeschäft eines Unternehmens. Diese Frage hat der Kunde längst entschieden: Er will Cloud-Kapazitäten, und zwar schnell, aber auch zu einem vertretbaren Preis. Der langfristige Trend zeigt: Die Kunden wollen das Beste aus beiden Welten, und das ist die Hybrid- beziehungsweise Multi-Cloud.

Unser neues eBook „Storage-Systeme für große Datenmengen“ widmet sich detailliert und umfassend den Fragen, die beim Speichern von Big Data entstehen. In drei Kapiteln werden die wichtigen Aspekte des Themas ausgerollt und beantwortet.

Kapitel 1: Herausforderungen durch Big Data

Big Data werden zunehmend in Data Lakes gespeichert. Dafür gibt es erstens quelloffene Software wie Hadoop und Spark, aber auch kostengünstige Subskriptionen wie AWS S3. Es genügt jedoch nicht, einfach die eintreffenden Datenströme in den Data Lake zu kippen: Dann würde daraus schnell ein „Data Swamp“. Vielmehr muss der Data Lake automatisiert bewirtschaftet werden, um einen Mehrwert zur analytischen Wertschöpfung beitragen zu können. Erfolgt dies nicht, wird aus dem „Kapital“ Data Lake in kürzester Zeit ein Verlustposten. Denn wie alle Speichereinheiten gibt es auch die für den Data Lake nötigen Storage-Kapazitäten nicht zum Nulltarif.

Kapitel 2: Verfahren und Technologien

Big Data und HPC/KI sind lediglich zwei Arten von Workloads, mit denen Storage-Systeme zurechtkommen müssen. Der Interessent fragt sich: Wie sollte die Storage-Infrastruktur aussehen, die es erlaubt, Volumina im Petabyte-Bereich effizient zu speichern und zu verwalten?

Kapitel 3: Hersteller und Lösungen

Der Markt für Big-Data-Storage wird von einer ganzen Reihe von Herstellern abgedeckt. Sie bieten teils Appliances für den Betrieb im lokalen Rechenzentrum an, teils handelt es sich um Cloud Provider. Von diesen sind Amazon Web Services (AWS), MS Azure und Google Cloud Platform (GCP) diejenigen mit den größten Marktanteilen und dem breitesten Angebot. Für den Einsatz in der Hybrid-Cloud positionieren sich beide Seiten, denn auch die Hyperscaler bieten Appliances an.

Das brandaktuelle Book

Herausforderungen für den Speicher: Big Data

Storage-Systeme für große Datenmengen

eBook Storage-Systeme für große Datenmengen
eBook „Storage-Systeme für große Datenmengen“
(Bildquelle: Storage-Insider)

Bei der Speicherung von Big Data wird zunehmend auf Data Lakes zurückgegriffen, doch genügt es nicht, die eintreffenden Datenströme einfach dorthinein zu kippen – dann würde daraus schnell ein „Data Swamp“. Lesen Sie im eBook, wie Sie optimal mit großen Datenbergen umgehen können und wie die entsprechenden Daten optimal für die Bearbeitung bereitgestellt werden können.

Die Themen im Überblick:

  • Big Data und Storage-Systeme
  • Aus Big Data Wert schöpfen
  • Wohin mit den unstrukturierten Daten?
  • Von der lokalen Appliance über Cloud Provider bis in die Hybrid Cloud

(ID:47559709)