Global Data Management Hammerspace-GFS steigert Leistung um 20 Prozent

Anbieter zum Thema

DataCore Software GmbH

Impossible Cloud GmbH

Hammerspace, ein Storage-Spezialist für Global Data Management, will mit Version 5 seiner Global File Data Architecture in den Hochleistungssektor vorstoßen. Statt acht Lokationen werden 16 Sites unterstützt, die Performance der Metadatenverwaltung wurde um 20 Prozent gesteigert. Hinzu kommt eine überarbeitete Version des Admin-Tools Data Mobility Viewer, das die Automation von Aufgaben erleichtern soll.

Hammerspace stellt ein parallelisiertes Global File System (GFS) für das Software-definierte Datenmanagement zur Verfügung. Mithilfe mehrerer Protokolle greift das Filesystem erstens auf die Datenknoten in Reichweite und zweitens auf die Metadaten zu, die sofort anhand der Datenquellen erzeugt werden. Das Motto laute „Work locally, manage globally“, äußerte Marketingleiterin Molly Presley.

Bildergalerie

Bildergalerie mit 10 Bildern

Hammerspace stellt seinen Kunden also Speicherkapazitäten, Datendienste wie Verschlüsselung und Kompression und aufgrund des Parallel GFS ein gewisses Maß an Performance zur Verfügung. Storage-Kapazitäten beziehen NAS, DAS (Direct Attached Storage) sowie die Hyperscaler ein, etwa S3 von AWS.

Hammerspace betreibt also keine eigene Cloud, sondern nutzt die Kapazitäten seiner Partner in lokalen oder Managed Rechenzentren sowie in der Public Cloud. Hammerspace wiederum verlässt sich auf die Dienste seiner Partner: VAST wird etwa für NAS/File genutzt, Cloudian für Object Storage, die Cloud mit PacketFabric und Rstor Space. In Version 5 kommt Support für Backblaze, Zadara und Wasabi hinzu. Die überarbeitete Version des Admin-Tools Data Mobility Viewer soll die Automation von Aufgaben erleichtern und die individuelle Anpassung ähnlich wie bei einem Dashboard erlauben.

Hochleistung im Rechenzentrum und in der Cloud

„Unser Parallel Global File System“, erläutert Floyd Christofferson, VP of Product Marketing, „ist in der Lage, duale 100-Gb/Ethernet-Netzwerke zu nutzen und den Datenfluss so zu orchestrieren, dass er mit 22,5 GB/s dorthin fließt, wo die Daten gebraucht werden“ – beispielsweise aus Rechenzentren in eine Cloud. „Wir bemühen uns mit Version 5, die Kapazität der jeweils vorhandenen Infrastruktur bis zu 90 Prozent auszuschöpfen.“

Als Anwendungsfälle nennt der Manager Electronic Design Automation (EDA), die Datensilo-Konsolidierung, Genomik, das Rendering visueller Effekte (VFX), das Trainieren von Machine-Learning-Modellen und Hochleistungsrechenarchitekturen in der Cloud. „Einer unserer Anwender in diesem HPC-Bereich ist die University of North Texas“, sagt Molly Presley.

Interconnect innerhalb eines Rechenzentrums

Mit ein paar Tricks gelingt es dem PGFS, die Daten aus den Quellsystemen schnellstmöglich in die NAS-Zielsysteme zu übertragen. Einer dieser Kniffe besteht darin, Daten-I/O entweder direkt mit NFS-3.0-Protokoll oder außerhalb der vorgesehenen Bahnen – nämlich out-of-band – ins Zielsystem per NFS-Protokoll 4.2 zu übertragen. Alle Metadaten-Updates erfolgen beispielsweise out-of-band. „Dies hat zu einer Leistungssteigerung um 20 Prozent beim Anlegen von Dateien in Primärspeicher geführt“, so Christofferson. „Beim Datentransfer mit NFS 4.2 in Linux unterstützt PGFS auch RDMA.“

In einem kürzlich erfolgten Test in einer Serverkonfiguration mit „nur“ 16 DSX-Servern habe das PGFS die volle Leistung ausschöpfen können und eine Transferrate von 1,17 Terabit pro Sekunde erzielt. „Das war der maximale Datendurchsatz, den der NVMe-Speicher handhaben konnte“, fasst der Manager zusammen, „bei Dateigrößen von 32 KB und geringer CPU-Nutzung.“

I/O-Leistung lokaler Server

„Wenn die volle Leistungsfähigkeit lokaler Server ausgeschöpft wird, so profitieren nicht nur Hochleistungsanwendungsfälle, sondern auch Edge Computing und DevOps-Workloads“, so die These Christoffersons. Das Hammerspace-GFS sei in der Lage, aus der vorhandenen Infrastruktur eines einzelnen NVMe-Servers bis zu 73,12 Gbit/s herauszuholen. Wie oben erwähnt, lagert das PGFS die Metadatenebene aus und kann Clients mit eingebettetem Parallel-Dateisystem mit NFS 4.2 unter Linux ansprechen, so dass der Verwaltungsaufwand im Datenpfad minimal ausfällt.

„Hammerspace ermöglicht es, Cloud-Nutzung und Datenverwendung auf die nächste Ebene der Dezentralisierung, wo sich viele weitere Daten befinden, zu heben“, erläutert Evald Waldman, Mitgründer und ehemaliger CEO von Mellanox Technologies. „Das traditionelle Modellieren und Simulieren im HPC-Sektor, aber auch moderne Workloads im Bereich KI und High-performance Data Analytics (HPDA) erzeugt, speichert und vernetzt Daten aus zahlreichen Datenquellen“, sagt Mark Nossokoff, Forschungsleiter bei Hyperion Research ((LINK). „Zu diesen Datenquellen gehören der Netzwerkrand (Edge), HPC-Rechenzentren und die Cloud.“ Gegenwärtige HPC-Architekturen mühen sich ab, die Herausforderungen solcher vielfältigen Datenumgebungen zu bewältigen.

Indem Hammerspace die Schlüsselbereiche der Kollaboration adressiere, gleichzeitig Systemleistungsfähigkeiten fördere und Kosten für die Datenbeförderung in HPC-Cloud-Umgebungen minimiere, ziele es darauf ab, eine fehlende Zutat zu liefern, die viele HPC-Nutzer und Systemarchitekten suchen würden.

Die Macht der User

Mit einem sogenannten Metadata-Plug-in können Endbenutzer von Windows-Clients selbst Metadaten-Tags anlegen, beispielsweise für die Cloud. Mit nur einem rechten Mausklick und der Auswahl in einem Kontextmenü können sie steuern, wie metadatengetriebene Workloads genutzt werden. Das Plug-in wurde zusammen mit anderen Leistungsmerkmalen Anfang Oktober von Hammerspace eingeführt.

Zu den anderen Features gehört die Möglichkeit des Nutzers, auf einer Windows-Workstation auf eine frühere Version einer Datei zurückzugehen. Dieser Rollback kann im Falle einer Ransomware-Attacke oder einer versehentlichen Dateiänderung nötig sein. Der Nutzer muss nicht auf die IT-Abteilung warten, sondern kann weiter produktiv bleiben.

Bildergalerie

Bildergalerie mit 10 Bildern

Einer der beliebtesten Anwendungsfälle bei Hammerspace-Kunden ist die Zusammenarbeit an derselben Datei. In seltenen Fällen kann dies zu Konflikten führen. Um dies abzuwenden, hat Hammerspace die automatische Dateireservierung eingeführt. Sie lässt sich auf Policy-Ebene implementieren.

Um globale Audits zu unterstützen, muss auch die entsprechende Datei „Global Audit Log“ vorliegen. Sie wird erzeugt, wenn Systemzugriffslisten (ACLs) sowohl über das SMB- als auch das NFS-Protokoll genutzt werden, etwa beim Löschen oder Umbenennen von Verzeichnissen und Dateien. Mit dieser Methode sollen sich Zugriffsrechte systemweit durchsetzen lassen. Das PGFS von Hammerspace überwacht solche Vorgänge zentral.

Durch die Integration der Suchfunktion „Elasticsearch“ von Alchemi Data ((http://alchemi-data.com/)) in das Globala Data Environment sind die Hammerspace-User nun in der Lage, effizient im gesamten PGFS nach bestimmten Dateien und Verzeichnissen zu suchen. Alchemi Data ist auch in der Lage, Dokumente zu scannen, darunter MS-Word und PDF-Dateien, damit Nutzer bestimmte Schlüsselbegriffe finden. Hammerspace kann anschließend diese Suchbegriffe sammeln und seinen Metadaten hinzufügen. Dadurch werde es leichter, die Verwaltung und den Zugriff auf Dateien zu Projekten, Organisationen und so weiter zu gestalten, etwa um Unternehmens-Governance und Compliance-Vorgaben zu erfüllen.

Aktuelles eBook

Alle Daten im Griff – der Weg zum passenden Data-Management

Daten nur zum Selbstzweck zu speichern, kann sich heute praktisch kein Unternehmen mehr leisten. Um den Überblick zu behalten und Nutzen aus den gespeicherten Daten zu ziehen, wird ein entsprechendes Datenmanagement benötigt. Unser neues eBook erläutert detailliert, worauf es dabei ankommt, welche Ansätze es gibt und wo Potenziale zur Verbesserung liegen.

Die Themen im Überblick:

• Data-Management lokal und in der Private Cloud
• Data-Management in der Cloud
• Globales Data-Management

eBook „Data-Management“ kostenlos downloaden

(ID:48834029)