Vom CERN ins Wohnzimmer

Anbieter zum Thema

DataCore Software GmbH

FAST LTA GmbH

Impossible Cloud GmbH

Außerdem ermöglicht Gridftp den Aufbau von „Third-Party-Transfers“. Im Gegensatz zur klassischen Client/Server-Architektur existiert hier eine dritte Rechner-Instanz, die im Namen des ursprünglichen Clients benötigte Dateien vom Server abruft. Im Grid hat dieses Verfahren große Vorteile. So können auch „schmächtige“ Clients, etwa die lokalen Computer von Wissenschaftlern, große Dateien über das Grid ordern und sie vom Vermittler – also der „Third-Party“ – auf andere Standorte verschieben oder aufbereiten lassen. Der Arbeitsplatz-PC fasst während dieser Operation nur die Metadaten an, nutzt also statt der eigentlichen Datei nur die Zeiger darauf.

Außer der Protokollierung nimmt der initiierende Client nicht am eigentlichen Datenaustausch teil. Diese Möglichkeit wird in der Grid-Umgebung häufig genutzt, wenn ein Steuerrechner die Datenverteilung und Lagerung kontrolliert, aber selber keine Daten bereithält.

Daten pinnen

Dreh- und Angelpunkt im Grid-Datentransfer ist der Storage Recource Manager (SRM), der im Rahmen des EU-EDG-Datagrid Projektes entwickelt wurde.

„Die SRM sind wie Dirigenten“, erläutert van Wezel, „sie dirigieren die Datenströme über die Metadaten“. Gerade die niedrigen Tier-Ebenen haben gar nicht die Kapazität, um immer den vollen Datensatz zu speichern. Sie verwenden stattdessen Zeiger auf Daten, und belassen den eigentlichen Datensatz in den größeren Rechenzentren der höheren Tier-Stufen.

„SRM ist eines der wenigen Protokolle, die sich bei allen zur Zeit entstehenden Grids durchgesetzt hat“, erläutert van Wezel. Selbstverständlich sei das nicht, denn nur die im LHC-Grid-Computing-Projekt zusammengeschlossenen Institute verwenden eine kompatible Netztechnik.

Storage Recource Manager im Grid

Unter SRM versteht man sowohl das Protokoll als auch seine Implementierung. Im Einsatz ist noch immer die erste Version der im Rahmen des EU-Projekts „EDG“ erstellten Software. Ab September steht die überarbeitete Version zur Verfügung. Der Unterschied ligt im Wesentlichen in der Möglichkeit die Daten zu „pinnen“, also festzuhalten. So werden sie für direkte Zugriffe reserviert, vor allem für Daten-Übertragungen innerhalb des Grid.

Wichtig ist diese Option, wenn die automatische Storage-Verwaltung aus Platzgründen wertvollen Disk-Speicherplatz räumen will und die entsprechenden Files auf Band kopieren will. Wenn das SRM bereits weiß, das diese Daten innerhalb kurzer Zeit für eine Übertragung ins Grid gebraucht werden, wird dies verhindert und der Datensatz durch „pinning“ auf dem schnellen Disk-Array gehalten.

(ID:2002566)