Suchen

Verteiltes Speichern und schnelles maschinelles Lernen Quobyte bietet ein verteiltes Dateisystem mit Tensorflow-Plug-in

Redakteur: Ulrike Ostler

Das „Quobyte Data Center File System“ ist laut Hersteller Quobyte das erste verteilte Dateisystem, das ein „Tensorflow“-Plug-in bereitstellt. Mit diesem lasse sich ein deutlich höherer Durchsatz erzielen, so dass Anwendungen im Bereich des Machine Learning schneller auf den üblichen riesigen Datensätzen trainiert werden können und Resultate mit größerer Präzision erzielt werden.

Firmen zum Thema

Das Versprechen: Quobyte mit Tensorflow-Plugin sorgt für 30 Prozent mehr Durchsatz, schnellere Trainingsdurchläufe und Ergebnisse beim maschinellen Lernen.
Das Versprechen: Quobyte mit Tensorflow-Plugin sorgt für 30 Prozent mehr Durchsatz, schnellere Trainingsdurchläufe und Ergebnisse beim maschinellen Lernen.
(Bild: Quobyte)

Tensorflow ist eine Open-Source-Bibliothek für numerische Berechnungen und Machine Learning und wird über Industriezweige hinweg angewandt, etwa in der Entwicklung autonomen Fahrens, der Robotik, bei Finanzdienstleistungen, im Gesundheitswesen, der Luft- und Raumfahrt und der Verteidigungsindustrie. Quobyte und Tensorflow zusammen sollen die Prozesse des maschinellen Lernens vereinfachen und optimieren können.

Nach Herstellerangaben erlaubt das Quobyte-Tensorflow-Plug-in, dass Tensorflow-Anwendungen direkt mit dem Quobyte-Speicher sprechen und den Kernel des Betriebssystems umgehen. Das eliminiere unnötige Modiwechsel des Kernels und spare der CPU dadurch das Verschwenden von Rechenleistung.

Quobyte will Flexibilität bieten. Die Modelle sollen etwa im eigenen Rechenzentrum trainiert und dann in einer Cloud migriert werden können.
Quobyte will Flexibilität bieten. Die Modelle sollen etwa im eigenen Rechenzentrum trainiert und dann in einer Cloud migriert werden können.
(Bild: Quobyte)

Die Quobyte-Speicher-Software könne in allen Phasen des maschinellen Lernens zum Einsatz kommen; den Leistungsschub aber liefere das Tensorflow-Plug-in in der Trainingsphase dank der nun besseren CPU-Auslastung. Laut Quobyte lässt sich der Durchsatz um 30 Prozent erhöhen. Dementsprechend verkürze sich die Zeit für die Trainingsdurchläufe. Ergebnisse seien schneller zu erzielen.

Entlastung für die CPU

Quobyte will seinen Nutzern außerdem Flexibilität bieten, um Modelle überall trainieren und nahtlos zwischen dem eigenen Rechenzentrum und der Cloud migrieren zu können. Das erlaube, dem CPU-Hunger von ML-Workloads nachzukommen und im Bedarfsfall Rechenleistung aus der Cloud hinzuzufügen. Auf diese Weise könne das Tensorflow-Plug-in dafür genutzt werden, die Modelle zuerst lokal auf Beispieldaten zu trainieren, um dann die „Google Cloud Platform“ zu nutzen und die Modelle im großen Rahmen zu trainieren.

Nach Herstellerangaben wird der Kernel vollständig umgangen. Das Tensorflow-Plug-in funktioniert somit nicht nur auf aktuellen, sondern auch mit älteren Linux-Versionen und eröffnet eine größere Bandbreite an Einsatzmöglichkeiten beim maschinellen Lernen. Es sind dafür keine Änderungen an bestehenden Anwendungen erforderlich.

Frederic Van Haren, Lead Analyst für die Bereiche HPC- und KI-Systeme des Analystenunternehmens Evaluator Group, sagt: „Mehr und mehr Unternehmen planen die Einführung des Machine Learning, um Innovation voranzutreiben, Produkte schneller an den Markt zu bringen und eine höhere Kundenzufriedenheit zu garantieren. Das bedeutet einen erhöhten Bedarf an Speicherinfrastrukturen, die die stärkere Leistung und größere Flexibilität bieten können, nach denen diese Workloads verlangen.“ Anbieter wie Quobyte, die eine hohe Speicherleistung, die Unterstützung zahlreicher Technologien und Flexibilität bei den Einsatzmöglichkeiten bieten, seien genau richtig positioniert, um Unternehmen dabei zu helfen, richtig mit riesigen Datensätzen umzugehen und genaue Resultate zu liefern – und das mit der technischen Umgebung ihrer Wahl.

Laut Hersteller braucht es nur ein einziges System um die besten Speichervoraussetzungen für das maschinelle Lernen anzubieten.
Laut Hersteller braucht es nur ein einziges System um die besten Speichervoraussetzungen für das maschinelle Lernen anzubieten.
(Bild: Quobyte)

ML plus Blockspeicher

Quobyte ist ein vereinheitlichtes Speichersystem, das etwa einen hohen Durchsatz und niedrige Latenzen bietet, die in der Trainingsphase des Machine Learning gefordert sind. Die Software eignet sich aber auch für Blockspeicher- (sequentiell mit großen und random mit kleinen Blöcken) und gemischte Workloads.

Quobyte unterstützt außerdem die ganze Bandbreite an Zugangsprotokollen und Clients – unter anderem „S3“, „Hadoop“ und „NFS“; Clients für Linux, Windows und MacOS – für eine möglichst breit aufgestellte Datenübernahme („Ingest“) und -aufbereitung. Die Daten bleiben in jeder Phase des ML-Prozesses in einem globalen Namespace zugänglich und lassen sich mit der Quobyte-Managementkonsole verwalten.

Weitere Vorteile des Tensorflow-Plug-ins sind nach Herstellerangaben:

  • Die Möglichkeit, sowohl HDDs als auch SSDs zu nutzen und so das beste Preis-Leistungs-Verhältnis zu erzielen – ohne mühsames Tiering.
  • Das Pre-Fetching von Trainingsdaten liefert eine deutliche Leistungsverbesserung. Maschinenerzeugte Daten nutzen meist sequentielle Benennungskonventionen und sind damit für ein Pre-Fetching geeignet.
  • Die Skalierbarkeit erlaubt es den Nutzern, den Speicher je nach Bedarf zu erweitern, um größere Kapazität und einen besseren Durchsatz zu erzielen. Projektanforderungen ändern sich meist früher als geplant; die Quobyte-Installation lässt sich anpassen. Server und Festplatten können addiert werden, sobald es erforderlich ist, ohne den laufenden Betrieb zu unterbrechen.
  • Die Multimandantenfähigkeit bietet Schutz, indem sie es Nutzern erlaubt, isolierte Namespaces und die physische Trennung von Daten oder Workloads innerhalb eines Clusters festzulegen. Administratoren können Mandanten isolieren und bestimmen, auf welche physische Hardware sie Zugriff haben, so dass die Leistung nicht beeinträchtigt wird und die Daten Unbefugten unzugänglich bleiben.

(ID:45916133)