Object Storage gestreamt Nahezu latenzfrei in der Cloud

Eine kleine Änderung in einer großen Datei verursacht unter Netzwerk- und Storage-Gesichtspunkten einen enormen Aufwand. Und dieser potenziert sich, wenn räumlich verteilte Teams daran arbeiten. Multimedia- und Marketingprofis können ein Lied davon singen. Aber auch in den Bereichen CAD/CAM, Videoüberwachung, Industrie 4.0 und Machine Learning ist der schnelle Remote-Zugriff auf gemeinsame Dateien bisher nicht befriedigend zu lösen. Der Ansatz, Dateien aus der Cloud zu streamen, eröffnet nun neue Möglichkeiten.

Anbieter zum Thema

PoINT Software & Systems GmbH

DataCore Software GmbH

Scality

Stellen wir uns als Beispiel eine zehnminütige 4K-Videodatei des Image-Films einer Firma mit rund zehn Minuten Spielzeit vor – eine solche Datei hat eine Größe von rund 5 Gigabyte (GB). Zehn verschiedene User, vom Kameramann über den Creative Director der Werbeagentur bis zu Ansprechpartnern beim Kundenunternehmen, sind an der Fertigstellung beteiligt. Nun soll bei Minute sieben eine Erklärung aus dem Off („Voiceover“) von wenigen Sekunden neu getextet und eingesprochen werden.

Bildergalerie

Ist der zuständige Videotechniker ein externer Mitarbeiter oder jemand, der nicht an dem Ort arbeitet, an dem die Ursprungsdatei physisch gespeichert ist, bleibt keine Wahl: Jemand muss ihm die Datei auf eine Plattform hochladen, von der er diese herunterladen und bearbeiten kann. Anschließend erfolgt derselbe Prozess in die umgekehrte Richtung.

Nutzen die Beteiligten eine Enterprise-File-Sync&Share-Lösung (EFSS), so werden die Daten automatisch bei allen Nutzern neu geladen – und zwar die gesamte Datei, jedes Mal, wenn ein Beteiligter eine neue Version speichert, und bei jedem Nutzer, der an der Bearbeitung teilnimmt. Für unseren Fall heißt das: Wegen der Bearbeitung einiger hundert Kilobytes werden hunderte von Gigabytes an verschiedenen Orten hoch- und heruntergeladen. Weil das eine hohe Belastung des Netzwerks nach sich ziehen kann, kommt bei noch größeren Dateien oft gleich ein Kurierdienst zum Einsatz.

Geschwätzige Protokolle austricksen

So oder so: Die Bearbeitung von Videos, etwa mit Adobe Premiere, setzt bislang voraus, dass die Datei physisch am Bearbeitungsstandort vorhanden ist. Das Gleiche gilt für die Bearbeitung anderer großer Dateien, wie beispielsweise CAD/CAM-Dateien, Baupläne, Audiodateien oder Grafiken: Eine Bearbeitung direkt auf einem lokalen Server oder NAS ist möglich, eine Bearbeitung in einem entfernten Rechenzentrum oder in der Cloud hingegen nicht. Selbst die beste Bandbreitenanbindung nützt nichts, denn der Knackpunkt liegt nicht in der Leistungsfähigkeit der Leitung, sondern in der Latenz.

Warum verhindert die Latenz von nur wenigen Millisekunden den Remote-Zugriff von Applikationen auf Dateien? Die Ursache liegt in den für den Datenaustausch verwendeten Protokollen wie NFS (Linux) und SMB (Windows): Sie wurden in den ’80er-Jahren für lokale LAN-Netzwerke entwickelt. Damals dachte niemand an einen Fernzugriff über hunderte oder tausende Kilometer hinweg. Latenz spielte noch keine Rolle. Die Protokolle sind daher auf einen regen Informationsaustausch der Systeme angelegt.

Innerhalb lokaler Netzwerke nimmt das Frage-und-Antwort-Spiel der beteiligten Rechner auch kaum Zeit in Anspruch. Doch auf eine größere Entfernung dauert jede Rundreise der Datenpakete einige Millisekunden – bei einigen tausend oder zehntausend Paketen, die diese Rundreise antreten, geht damit die Performance in den Keller. Die Folge: Die Kommunikation wird unmöglich, die Programme frieren ein.

Dropbox-Funktionalität ohne Up- und Downloads

Die lokale Bearbeitung, entweder via Download oder Synchronisation, ist daher bislang alternativlos. Doch Unternehmen mit großen Dateien in geografisch verteilten Teams hätten am liebsten die Funktionalität von Dropbox, ohne fortlaufend Daten hoch- und herunterladen zu müssen. Auch aus Gründen der Datensicherheit und des Schutzes geistigen Eigentums wäre eine Lösung ohne Dateikopien auf jeder beteiligten Maschine ein wichtiger Fortschritt.

Ein neuer Ansatz macht dies nun möglich. Dieser erscheint simpel und ist aus dem Privatbereich von Audio- und Videoplattformen bekannt: Streaming. Mit diesem neuen Ansatz wird der populäre und kostengünstige Object Storage fit für die heutige Wirtschaftswelt mit ihrer räumlichen Arbeitsteilung.

Synology, QNAP oder Open-Source-Systeme nutzen

NAS-Speicher verschlüsselt zur Verfügung stellen

Der Clou: Eine Software trennt Metadaten und die anderen Dateidaten in verschiedene Kommunikationsstränge. Die Metadaten, die weit weniger als ein Prozent der Gesamtdatei ausmachen, werden weiterhin lokal synchronisiert. Sie geben dem Endgerät alle Informationen zur Datei und darüber hinaus den Anschein, die Datei sei tatsächlich auf einem lokalen Laufwerk vorhanden. Vom Dateiinhalt wird jedoch nur der Teil on-Demand gestreamt, der wirklich benötigt wird.

Videobearbeitung on the fly

Angewendet auf unser Eingangsbeispiel, bedeutet das, der Videotechniker kann unter einem lokalen Laufwerksbuchstaben auf seinem Endgerät, wie „L:“, die Videodatei öffnen. Egal, welches Programm er dafür verwendet, sie startet unmittelbar ohne Verzögerungen, und ohne das gesamte Dateivolumen von 5 GB herunterzuladen.

Der Videobearbeiter scrollt in seiner Oberfläche in Adobe Premiere zu Minute sieben und kann dort sofort mit der Bearbeitung beginnen. Speichert er Änderungen, so sind diese direkt auf einem Filespace auf dem Server gespeichert – die Datei muss nicht erst lokal zwischengespeichert, zurücksynchronisiert oder hochgeladen werden. Auf dem Endgerät des Benutzers und aller anderen Nutzer des Filespace verändert der Service nur die Metadaten.

Die Latenz ist bei dieser Art des Streamings von Object Storage kein Problem mehr. Denn die muntere Unterhaltung der Protokolle findet fast vollständig zwischen dem lokalen Betriebssystem und den lokal gespeicherten Metadaten statt – also innerhalb des Endgeräts. Weitere technische Tricks wie Parallelisierung, Caching, Kompression und Pre-Fetching tun ein Übriges. Sie geben einem Remote-User über Tausende von Kilometern die gleiche Performance, die er von der Arbeit auf einem NAS im selben Gebäude gewohnt ist.

Cloud-Speicher als Primärspeicher

Filespace ist de facto ein Cloud-natives Dateisystem. Es gibt den Anwendern Zugang zu Daten, ohne diese Daten neu abzuspeichern. In der Konsequenz ermöglicht es Unternehmen nun, Object Storage in der Public oder Private Cloud für jegliche dateibasierte Workloads zu verwenden und Cloud-Speicher als Primärspeicher zu verwenden.

Zu den Anwendern, die diesen neuen Ansatz bereits nutzen, gehören Firmen und IT-Dienstleister, die auf diese Weise Daten zwischen Nürnberg und Frankfurt, zwischen der US-Westküste und -Ostküste und sogar zwischen Südafrika und Amsterdam streamen. Diese Firmen können zum Beispiel freien Mitarbeitern bequem Zugangsrechte für einen bestimmten Filespace einräumen, so dass diese überall mit unstrukturierten Daten arbeiten können, ohne sie herunterzuladen.

Chancen für Healthcare-Bereich und MSPs

Zu den Branchen, die davon stark profitieren können, gehören Werbebranche, Media/Entertainmentindustrie, Videoüberwachung und Datenanalyse. Zudem könnte der Healthcare-Bereich unter Datenschutzgesichtspunkten von Object Storage Streaming profitieren. Managed Service Provider (MSPs) wiederum können ihren Kunden eine signifikant bessere Performance von Cloud Storage und weiteren Services bieten. So ist es im Fall eines Disaster Recovery nicht mehr notwendig, ein Backup von vielen Terabytes komplett herunterzuladen, bevor wieder jemand damit produktiv arbeiten kann.

Datenmanagement

Welche Trends werden 2020 den Datenmanagementmarkt prägen?

Generell werden seit Jahren immer mehr Daten via Object Storage bereitgestellt, nicht selten in der Cloud und für geografisch verteilte Mitarbeiter. Der neue Ansatz setzt darauf direkt auf. Er erfordert nur die Installation einer Software auf der Cloud-Instanz und macht damit nahezu jede Applikation Cloud-fähig, ob Videobearbeitung, CAD/CAM oder Backup.

Peter Thompson, CEO bei LucidLink.

Der Anwender am Endgerät merkt nichts davon, wie grundlegend neu diese Technologie im Backend arbeitet. Er sieht an seinem PC nur einen Laufwerksbuchstaben und klickt sich ganz normal über die Verzeichnisbäume zu der gewünschten Datei durch, selbst wenn die Daten physisch auf einem anderen Kontinent liegen.

Möglicherweise ist somit der unnötige Download und Upload hunderter Gigabytes pro Tag ein Auslaufmodell: Der nahezu latenzfreie Zugriff auf in der Cloud gespeicherte Objektdaten gibt Unternehmen und Organisationen, die räumlich verteilte Teams haben, ganz neue Möglichkeiten zur Optimierung von Arbeitszeit, Netzwerkressourcen, Speichermanagement und Datensicherheit.

*Der Autor: Peter Thompson, CEO LucidLink

(ID:46280387)