Unstrukturierte Daten Nasuni und Nodeum wollen Datenmassen bändigen

Anbieter zum Thema

DataCore Software GmbH

Impossible Cloud GmbH

Unstrukturierte Files und Objekte stellen heute schnell anschwellende Datenmassen. Für die Handhabung beider gibt es weitere Optimierungspotentiale, wie die beiden Beispiele Nasuni und Nodeum zeigen.

Objekt- und Filedaten schwellen durch Technologien wie IoT, bildgebende Verfahren, soziale Medien und anderes mehr an. Files kommen in vielen unterschiedlichen Formaten und bewegen sich in unterschiedlichen Protokollwelten. Außerdem lagern sie mittlerweile am Edge, in der Cloud und On-Premises.

Bildergalerie

Hier setzt Nasuni mit seiner Hybrid Cloud File Platform an. Ziel ist, die sehr komplexen, heterogenen Infrastrukturen für File- und Objekt-Storage durchgreifend zu vereinfachen. Ausgeschlossen sind bislang lediglich SAP-Daten und Datenbanken. Dazu verwendet Nasuni Cloud-Objekt-Storage – entweder bei AWS, Azure oder Google oder aber aus einer On-Premises-Cloud seiner Kunden.

Auf der Cloud liegen die Nasuni-Kerndienste. Hierzu gehören File Storage, Datenschutz und -sicherheit, File-Synchronisierung, Edge-Leistungssteigerung, Multi-Cloud-Fähigkeit und App-Integration. Dazu kommen gegen Aufpreis erhältliche Zusatzservices: Ransomware-Schutz, ubiquitärer Zugriff (Access Anywhere) und Multi-Site-Collaboration.

Der Ransomware-Schutz besteht aus unbegrenzt vielen Snapshots, der Inline-Detektion von auffälligem Verhalten mit Identifikation der Angriffsquelle, Regeln zum Umgang mit Angriffen und einer Berichtsfunktion. Access Anywhere ermöglicht den Zugriff von Remote-Lokationen über unterschiedliche Kanäle einschließlich VPN zum externen beidseitigen Sharing von Dateien und Ordnern.

Vier Basistechnologien

Alle Nasuni-Services basieren auf APIs und auf vier Basistechnologien, die sich der Datenmanagementspezialist hat patentieren lassen: dem Filesystem UniFS, einer Edge-Komponente, einer Management-Konsole und einem Orchestrierungszentrum.

Zu den APIs gehört ein Analytik-Konnektor, über den Daten an analytische Workflows übergeben werden können. Er übersetzt Filedaten in ein natives Objektspeicherformat.

Das laut Hersteller nahezu unbegrenzt skalierbare Betriebssystem UniFS konsolidiert Files und Metadaten in der Cloud in Form einer Gold-Kopie. Files werden als unveränderliche Nur-Lese-Objekte gespeichert. Dabei hält das System unbegrenzt viele Versionen jeder Datei vor.

Lokale Caches beschleunigen Datenzugriff

Lokale Caches in Form virtueller Edge-Devices, die als virtuelle Maschinen kommen, erreichen eine Trefferrate von 99 Prozent für den lokal nachgefragten Content. Laut Nasuni verbrauchen sie 98 Prozent weniger Ressourcen als traditionelle Fileserver oder NAS-Systeme.

Sie können zudem über alle Bereiche der Infrastruktur, auch VDIs, skalieren. Die VMs unterstützen die Standardprotokolle für Filesharing. Ein eingebauter Webserver ermöglicht den Zugriff auch über http. Aufgrund dieser Architektur aus auf unterschiedliche Edge-Lokationen verteilten Edge-VMs skaliert das System, ohne auf der übergeordneten Ebene mehr Ressourcen zu benötigen. Das bedeutet eine große Flexibilität hinsichtlich der Gestaltung der Infrastruktur.

Zentrales Web-Management der Edge-Devices

Eine zentrale Web-Konsole verwaltet sämtliche Edge-Appliances einer Infrastruktur samt Volumes, Shares und File-Recovery. Sie wird durch ein zentrales GUI und REST-APIs automatisiert. Die Konsole bietet zentralisierte Überwachung, Berichts- und Benachrichtigungswesen.

Wollen Kunden Daten an mehreren Lokationen gleichzeitig nutzen, sorgt eine Multi-Site-Synchronisierungsfunktion für Konsistenz der Datenversionen. Zwar können einzelne Dateien, etwa in Slack, ohne FileLock gemeinsam bearbeitet werden, auf der Nasuni-Ebene werden aber Zugriffskonkurrenzen und damit entstehende Inkongruenzen blockiert. Um das zu ermöglichen, ist Nasuni in diversen Clouds repräsentiert. Das Verfahren senkt Synchronisierungszeiten von Stunden auf einige Minuten.

Getrennter Daten- und Kontrollpfad

Daten- und Kontrollpfad werden konsequent getrennt. Der Datenpfad wird ausschließlich von den Kunden kontrolliert, die ihre eigene Cloud, ihren eigenen Schlüssel und ihre Edge-Appliances managen. Der Steuerungspfad berührt nur Steuerungs- und Konfigurationsdaten. Er ermöglicht die schnelle Erweiterung der Infrastruktur um neue Edge-Devices.

Nasuni berichtet, 98 Prozent seiner Kunden blieben. In letzter Zeit ist das Unternehmen nach Irland expandiert und hat die Produkte der Aufkäufe Storage Made Easy (SME) und DBM Cloud Systems integriert.

Datenmanagement für Exascale-Datenmengen

Das bereits 1997 gegründete Unternehmen Nodeum wurde 2015 komplett mit dem Fokus Datenmanagement neu aufgesetzt. Es konnte den ersten Kunden in Deutschland 2020 gewinnen. Nun soll der Channel in Deutschland mit dem Erscheinen von Nodeum 2.0 erweitert werden.

Laut Nodeum arbeiten die fünf größten HPC-Zentren Europas mit der Technologie. Nodeum sieht sich als die beste Lösung zur Handhabung von Exascale-Workloads. Themen wie Genomik, georäumliche Daten, Medien, Post-Produktion et cetera sind eine Domäne für die Software-Lösung von Nodeum.

Technologisch sieht sich die Firma zwischen On-Premises- und Cloud-Storage. Es bietet grundlegende Technologien für hybride Datenwelten an: Datenverlagerung, Lebenszyklusmanagement, Archivierung, Datenschutz. Alle diese Prozesse will Nodeum bei größtmöglicher Skalierbarkeit vereinfachen und unter einem Dach vereinheitlichen.

Besonders den Problemen sich aufhäufender Edge-Daten rückt Nodeum zu Leibe. Auch sie müssen häufig bewegt werden, ohne dass der Überblick verloren geht. Das erfordert unter anderem hohe Bandbreiten und hohe Ein-/Ausgaberaten.

Bildergalerie

Automatisierte Workflows

Kern der Lösung sind automatisierte und regelgetriebene Workflows, die Datenverschiebungen zwischen unterschiedlichen Datenspeichern organisieren. Eine zentrale Konsole zeigt alle Verschiebeoperationen, egal, wo sie stattfinden. Sie enthält auch Werkzeuge zur Überwachung und zum Management von Datenarchiven.

Dabei behalten die Anwender den Zugriff auf alle aktiven und Archiv-Datenschichten. Die Funktionen sind mit Workload-Managern wie Slurm, einem im HPC-Umfeld verbreiteten Tool, integrierbar, um die Effizienz zu steigern.

Ein offenes API und SDK erleichtern die Integration mit spezifischen Suchanwendungen. Außerdem liefert Nodeum seinen Kunden Enduser-Schnittstellen: ein HTML-GUI und einen Bash-Client. So können sie ihre eigenen Datenverschiebungen selbst verwalten.

Unbegrenzt viele Data Mover

Die Zahl der Data-Mover-Module und Scheduler lässt sich skalieren. Fällt eine Migrationsaufgabe an, entscheidet das System selbst, wie viele Data Mover dafür optimal wären, schaut nach freien Modulen und bindet sie in den jeweiligen Prozess ein.

Dabei übernehmen die Data Mover die Kontrolle und das Echtzeit-Reporting des gesamten Prozesses. Verschiebeprozesse können unterbrochen, am Unterbrechungspunkt wieder gestartet oder komplett abgebrochen werden, ohne dass Daten verlorengehen.

Verschiebeaktionen können auch in verkehrsarme Zeiten gelegt werden. Auch Filterung der Daten ist möglich, bis hin zum Entwickeln eigener Skripte.

Filterfunktionen erlauben die Suche nach Files entsprechend unterschiedlicher Kriterien wie Größe, Erstellungs- oder Veränderungsdatum, Filetyp und anderen. Anwender können auch eigene Filterregeln entwickeln.

Priorität und Sicherheit

Das eingebaute Prioritätsmanagement sorgt dafür, dass dringende Datentransporte vorgezogen werden, ohne aber andere ungebührlich lange zu behindern. Es bietet verschiedene Prioritätslevel und einen Fair-Queuing-Mechanismus. Dieser weist jedem offenen Request einen gleichen Anteil der verbliebenen Ressourcen zu. Außerdem können Anwender jederzeit kundenspezifische Skripte oder Befehle an bestimmten Punkten des Migrationsprozesses durchführen.

Files werden während des Transports und bei Speicherung auf dem Tape auf Integrität geprüft. Zu den verwendeten Techniken gehören Prüfsummen und andere Validierungsmethoden. Bereits gemountete Filesysteme und damit Storage, die direkt an ihrem Client gemountet ist, werden unterstützt. Das gilt beispielsweise für IBM Spectrum Scale, Lustre, BeeGFS und StorNext.

Der Zugriff erfolgt über Username, Passwort und Identitätsprovider, wenn der Kunde das will.

Aktuelles eBook

Open-Source-Storage – Speicher-Software zum Nulltarif

Der Bedarf an Speicherkapazität steigt von Tag zu Tag – nicht nur, um die Daten von Produkten, Kunden und Transaktionen zu sichern, sondern auch, um Compliance-Anforderungen zu erfüllen und Auditierungen gut zu überstehen. Eine leistungsfähige Storage-Lösung ist also gefragt. Eine kostenlose Option bietet Open-Source-Software für Storage, insbesondere dann, wenn man sie selbst den eigenen Anforderungen anpassen darf.

Die Themen im Überblick:

• Warum Storage als Open Source?
• NAS & Objektspeicher
• Backup & Disaster Recovery
• Dateisysteme
• Technologiestapel & Ökosysteme

eBook „Open-Source-Storage“ kostenlos downloaden

(ID:49584007)