Datentransfer zwischen Clouds Data Movement: In Clouds kommt mehr Bewegung

Autor / Redakteur: Oliver Schonschek / Florian Karlstetter

Der Datenaustausch von und in Cloud-Umgebungen geht vor allem bei großen Datenmengen meist zu Lasten der Performance. Speziallösungen ermöglichen schnelle Datentransfers in Clouds. Damit werden sowohl Backups als auch Echtzeitanalysen von großen Datenmengen erleichtert.

Firmen zum Thema

Data Movement bietet neue Ansätze, wie sich der Datentransfer von und in Cloud-Umgebungen beschleunigen lässt.
Data Movement bietet neue Ansätze, wie sich der Datentransfer von und in Cloud-Umgebungen beschleunigen lässt.
(© lucadp - Fotolia.com)

Echtzeit mit Verzögerung: Bei 48 Prozent der Unternehmen dauert es mindestens 24 Stunden, bis relevante Daten die Entscheider erreichen, so die Studie „From Batch to Blazing: Moving Data in Today’s Real-time Business, 2012 Survey On Data Integration Strategies“ von Unisphere Research. Von Echtzeitanalysen kann also keine Rede sein.

Ein wesentliches Problem besteht darin, dass große Datenmengen innerhalb kurzer Zeit bewegt werden müssen. Der IT-Trend Big Data zeigt, dass sich diese Schwierigkeit weiter verschärfen wird. Hinzu kommt, dass die zeitnah erforderlichen Daten immer häufiger in Clouds liegen, oftmals auch verstreut in unterschiedlichen Cloud-Umgebungen. Forrester ging schon für 2012 davon aus, dass Cloud-Nutzer mehr als zehn verschiedene Cloud-Dienste parallel nutzen.

Bildergalerie

Backups großer Datenmengen

Eine weitere Herausforderung in Verbindung mit Big Data und Cloud-Nutzung besteht in der Sicherung der umfangreichen Datenbestände, mit der Cloud als Backup-Ziel, aber auch bei Backups von Cloud-Daten in einer anderen Cloud-Umgebung oder auf internen IT-Strukturen. Schnelle, am besten automatisierte Datentransfers innerhalb von Clouds und zwischen Clouds werden deshalb zunehmend wichtig. Auf den Markt sind bereits verschiedene Lösungsansätze zu finden.

1. Cloud als Backup für große, lokale Datenmengen

Wenn Big-Data-Umgebungen in eine Cloud übertragen und dort regelmäßig gesichert werden sollen, kann eine Lösung wie Attunity CloudBeam File-Cloud Replication hilfreich sein. Diese Lösung wird als SaaS (Software as a Service) angeboten und erlaubt automatisierte, gesicherte Uploads und Downloads zwischen lokalen IT-Strukturen und AWS S3-Umgebungen. Durch die Unterstützung beider Transferrichtungen und durch die Automatisierung kann gewährleistet werden, dass Vor-Ort-Daten und Cloud-Daten fortlaufend synchronisiert werden. Für die Geschwindigkeit der Transfers ist entscheidend, dass nur Änderungen an den Daten übertragen werden (Comparative Snapshot Technology, CST). Dabei wird die Sicherheit der Datentransfers durch Verschlüsselung und der Forderung nach Authentifizierung gewährleistet.

Eine weitere Möglichkeit, lokale Daten schnell und automatisiert in eine AWS-Umgebung oder Daten von einer AWS-Umgebung in interne IT-Strukturen zu übertragen, bietet Aspera On Demand for Amazon Web Services, für Windows Azure-Umgebungen als Quelle oder Ziel der Datenübertragung gibt es Aspera On Demand for Microsoft Windows Azure. Datentransfers zu und von beliebigen Cloud-Umgebungen können mit Aspera Shares bewerkstelligt werden.

Die AWS Data Pipeline von Amazon Web Services kann zeitgesteuert und automatisiert Daten aus lokalen IT-Strukturen hin zu AWS-Diensten wie Amazon S3, Amazon RDS, Amazon DynamoDB und Amazon Elastic MapReduce (EMR) übertragen, aber auch zwischen verschiedenen AWS-Cloud-Umgebungen.

2. Automatisierung von Analysen und anderen Datenprozessen

Bei AWS Data Pipeline können komplette Datenprozesse definiert und automatisiert werden, von unterschiedlichen Datenquellen, die nach vorgegebenen Regeln zu bestimmten Zeitpunkten verarbeitet und deren Ergebnisse an einen definierten Ort übertragen werden.

Ein Anwendungsbeispiel sind Big-Data-Analysen aus verschiedenen Datenquellen, deren Resultate automatisch an die Entscheider im Unternehmen geschickt werden. Die AWS Data Pipeline ermöglicht es zudem, vor einem definierten Verarbeitungsschritt jeweils die notwendigen Voraussetzungen zu prüfen, wie zum Beispiel das Vorliegen bestimmter, aktueller Daten. Das Fehlen bestimmter Voraussetzungen kann ebenso wie bestimmte Verarbeitungsfehler zu einer automatischen Benachrichtigung führen. Die Konfiguration der AWS Data Pipeline erfolgt zum Beispiel über die AWS Management Console. Verschiedene Datenprozesse sind dort bereits als Vorlagen definiert, die für die eigene Data Pipeline genutzt werden können, zum Beispiel die stündliche Analyse von Log-Dateien.

3. Datenabgleich und Transfer zwischen Clouds

Public Clouds werden in 2013 zunehmend für Big-Data-Projekte genutzt, wie eine Umfrage von CloudPassage ergab. Für Echtzeitanalysen steigt der Bedarf, Daten aus verschiedenen Cloud-Umgebungen in einer definierten Cloud zur Verfügung zu haben. Für notwendige Datentransfers zwischen Clouds bietet sich zum Beispiel eine Lösung wie Attunity CloudBeam Cloud-Cloud Replication an. Damit lassen sich automatisiert umfangreiche Datenmengen zwischen AWS S3-Umgebungen übertragen.

Ein weiterer Anwendungsfall für Cloud-Cloud-Datentransfers ist die Sicherstellung der Datenverfügbarkeit, durch die automatische Replikation von Cloud-Daten in anderen Cloud-Umgebungen und durch die schnelle Wiederherstellung der Cloud-Daten im Fall eines Datenverlustes.

4. Cloud Bursting

Wird kurzfristig eine größere Cloud-Kapazität benötigt, können bestehende Cloud-Umgebungen mittels Cloud Bursting erweitert werden. Zu einem plötzlich steigenden Bedarf an Cloud-Kapazitäten dürfte es gerade bei Big-Data-Projekten kommen. Für eine zeitnahe Datenanalyse müssen dann aber neben den standardmäßig verfügbaren Cloud-Umgebungen auch die kurzfristig ergänzten Public Cloud-Umgebungen schnell eingebunden werden können. Hierbei hilft zum Beispiel der Bright Cluster Manager 6.0. Die für eine Analyse erforderlichen Daten werden dann rechtzeitig vor Start der Analyseprozesse bereitgestellt, wenn diese nach einem definierten Zeitplan erfolgen (Data Aware Scheduling).

Big Data und die bewegliche Cloud

Große Datenmengen in Verbindung mit Cloud-Nutzung und der Wunsch nach Echtzeitanalysen machen automatisierte und extrem schnelle Datenbewegungen in die Cloud, zwischen Cloud-Umgebungen und aus der Cloud erforderlich. Insbesondere durch die SaaS-Lösungen für Datentransfers bei Clouds wird dies auch für kleinere und mittlere Unternehmen realisierbar. Big Data bleibt also nicht alleine den großen Unternehmen vorbehalten.

Artikelfiles und Artikellinks

(ID:37740640)