Speicherlösung für Big Data Azure Data Lake Gen2 für Datenanalyse nutzen

Anbieter zum Thema

Microsoft Deutschland GmbH

DataCore Software GmbH

FAST LTA GmbH

Impossible Cloud GmbH

Azure Data Lake ist ein skalierbarer Speicher für große Datenmengen, die schnelle Zugriffszeiten benötigen. Der Dienst bietet außerdem eine sichere Authentifizierung, weltweiten Zugriff, Richtlinienmanagement sowie Verschlüsselung und Bedrohungsschutz.

Ein Data Lake dient als umfassendes Speichersystem, das sowohl strukturierte als auch unstrukturierte Daten in einem zentralisierten Depot aufnimmt. Diese Flexibilität ermöglicht es Organisationen, eine breite Palette von Daten effizient zu sammeln, zentral zu verwalten und zu analysieren. Ein wesentlicher Vorteil eines Data Lakes besteht darin, dass die Daten in ihrem ursprünglichen Format, ohne vorherige Anpassung an spezifische Strukturen, gespeichert werden. Typischerweise erfolgt dies in Form von Dateien oder als Binary Large Objects (Blobs).

Bildergalerie

Einstieg in Azure Data Lake und Gen2 des Data Lake nutzen

Azure Data Lake Storage ist eine auf Cloud-Technologie basierende Speicherlösung, die für den Unternehmenseinsatz konzipiert wurde. Die Lösung unterstützt die Speicherung verschiedenster Datentypen und ist in der Lage, hohe Datenvolumen zu verarbeiten. Ihre Hauptfunktion ist die Sammlung von Daten unterschiedlichster Art aus verschiedensten Quellen an einem Ort. So werden der Zugriff und die Analyse durch eine Vielzahl von Frameworks erleichtert.

Unternehmen, die einen großen Datenspeicher brauchen, sollten die Nutzung von Azure Data Lake in Betracht ziehen. Der Speicher in der Cloud ist unbegrenzt skalierbar und steht sicher zur Verfügung. Die Lösung ermöglicht die Speicherung und Analyse großer Datenmengen in verschiedenen Formaten, ohne dass eine vorherige Transformation erforderlich ist. Ein weiterer Vorteil ist die nahtlose Integration mit anderen Azure-Diensten wie Azure HDInsight und Azure Databricks. Sie garantiert effiziente Verarbeitung und Analyse großer Datenmengen.

Der neue Azure Data Lake Storage Gen2 vereint die Funktionen des bisherigen Azure Data Lake und Azure Blob Storage. Die Speicherlösung unterstützt zudem Sicherheitsfeatures wie Verschlüsselung sowohl in Ruhe als auch während der Übertragung und bietet umfassende Zugriffskontrollen. So treffen Unternehmen datengesteuerte Entscheidungen auf Basis aktueller und umfassender Daten, während gleichzeitig Compliance-Anforderungen erfüllt werden. Azure Data Lake passt sich dynamisch an die Bedürfnisse der Nutzer an und findet sowohl bei gelegentliche Analysen als auch für komplexe Datenverarbeitungs-Aufgaben Einsatzmöglichkeiten.

Azure Data Lake erstellen: Speicherkonto und Data Lake Gen2

Um ein Data Lake in Azure zu erstellen, muss ein Speicherkonto angelegt werden. Speicherkonten sind eine Grundlage für die Erstellung verschiedener Speicher in Azure.

Nachdem das Konto angelegt ist, können Admins mit „Data Lake Gen2-Upgrade“ das Speicherkonto zu einem Azure Data Lake Storage Gen2 zu aktualisieren. Hierbei muss aber auf die Endgültigkeit dieses Vorgangs hingewiesen werden. Die Aktualisierung ist vor allem bei Datennutzung für Analysen im Big Data-Bereich sinnvoll.

„Speicherhungrig“ – der Storage-Insider-Podcast, Folge 4

Kilometerweise Dokumente – Digitalisierung im Stadtarchiv Augsburg

Bevor im Speicherkonto das Upgrade zu Gen2 erfolgt, sollten bei „Datenschutz“ im Bereich „Datenverwaltung“ die beiden Optionen „Vorläufiges Löschen für Blobs aktivieren“ und „Vorläufiges Löschen für Container aktivieren“ deaktiviert werden. Ansonsten bricht das Upgrade mit einem Fehler ab.

Die Aktualisierung zu Data Lake Gen2 erfolgt über einen Assistenten. Nach der Aktualisierung können die Endpunkte der verschiedenen Dienste zum neuen Data Lake Gen2 umgestellt werden. Die Adressen sind bei „Endpunkte“ im Bereich „Einstellungen“ zu finden.

Die Vorteile von Azure Data Lake Storage Gen2

Azure Data Lake Storage Gen2 stellt die neueste Version dar. Anders als sein Vorgänger ist Data Lake Storage Gen2 nicht mehr als eigenständiger Dienst oder spezifischer Kontotyp konzipiert. Er ist eine Erweiterung, die in den Blob Storage-Dienst eines Azure-Storage-Kontos integriert wird. Diese Integration erfolgt durch die Aktivierung des „hierarchischen Namespace“.

Bildergalerie

Data Lake Storage Gen2 zeichnet sich durch mehrere Funktionen aus: Die Speicherlösung bietet Hadoop-kompatiblen Zugriff. Sie wurde speziell für die Verwendung mit Hadoop und dessen Ökosystem entwickelt, welches das Apache Hadoop Distributed File System (HDFS) für den Datenzugriff nutzt. Der Azure Blob File System (ABFS)-Treiber ermöglicht dabei einen direkten und für Big-Data-Analysen optimierten Zugriff. Die notwendigen REST-APIs sind über den Endpunkt „dfs.core.windows.net“ verfügbar.

Ein weiteres Merkmal von Data Lake Storage Gen2 ist die hierarchische Verzeichnisstruktur. Durch sie entsteht eine effiziente Datenorganisation in einer hierarchischen Anordnung von Verzeichnissen und Unterordnern, ähnlich der Dateiorganisation auf einem Desktop-Computer. Diese Struktur verbessert den schnellen und effizienten Zugriff auf große Datenmengen, wodurch sie ideal für anspruchsvolle Data-Analytics-Workloads ist.

Aktuelles eBook

Datenmigration – so funktioniert der Storage-Umzug

Im Zuge der Digitalisierung ändern sich die Anforderungen an Storage-Systeme. Sie müssen leistungsfähiger, skalierbarer und insgesamt flexibler sein. Unternehmen führen neue Systeme wie etwa All-Flash-Arrays ein, verlagern Dienstleistungen der IT-Abteilung in die Public- oder Hybrid-Cloud, ziehen sogar das Rechenzentrum um und erkennen möglicherweise die Chance oder die Notwendigkeit, IT-Services und Storage-Infrastruktur zu konsolidieren.

Die Themen im Überblick:

• Operation am offenen Herzen – Einleitung
• Wann eine Datenmigration nötig und sinnvoll ist
• Was bei der Datenmigration zu beachten ist
• Die konkrete Umsetzung der Datenmigration
• Sonderfälle und Fallstricke

eBook „Datenmigration“ kostenlos downloaden

(ID:50034341)