Zehnfache S3-Leistung AWS führt S3 Express One Zone ein

Anbieter zum Thema

Amazon Web Services Germany GmbH

FAST LTA GmbH

Impossible Cloud GmbH

S3 Express One Zone beschleunigt laut Amazon Web Services Dateioperationen im Speicherdienst S3 um das Zehnfache und soll helfen, die Speicherkosten um die Hälfte zu senken. Zudem macht es komplizierte individuelle Caching-Lösungen überflüssig. Für AWS Backup, Replikation und vor allem für Amazon FSx für NetApp Ontap gab es zahlreiche Neuheiten, die entweder die Leistung, die Kapazität oder die Automation steigern beziehungsweise erleichtern.

Die wohl bedeutendste Neuheit, die AWS bezüglich S3 vorstellte, war Amazon S3 Express One Zone (EOZ). Diese ist speziell dafür konzipiert, den schnellsten Cloud-Objektspeicher für leistungsintensive Anwendungen zu liefern, die eine konstante einstellige Millisekunden-Anfrageverzögerung erfordern. CEO Adam Selipsky nannte als einen der Gründe für die neue Speicherklasse, dass dadurch von Kunden erstellte Caching-Lösungen überflüssig gemacht würden.

Bildergalerie

Aber er gab auch an, dass es immer mehr Anwendungsfälle gebe, die sehr schnelle, konsistente und skalierbare Speicherzugriffe notwendig machten, und dafür reiche eben Standard S3 nicht mehr aus. Die Einsatzmöglichkeiten von S3 Express One Zone umfassen ein breites Spektrum an Branchen und Anwendungen, darunter die Verarbeitung autonomer Fahrzeugdaten, von Finanzrisikomodellierung, Echtzeit-Online-Werbung und maschinellem Lernen für Training und Inferenz.

S3 Express One Zone kann Selipskys Angaben zufolge die Datenzugriffsgeschwindigkeiten um das Zehnfache verbessern und die Anfragekosten im Vergleich zu S3 Standard um 50 Prozent reduzieren und skaliert, um Millionen von Anfragen pro Minute für die am häufigsten abgerufenen Datensätze zu verarbeiten. Während Nutzer immer in der Lage waren, eine spezifische AWS-Region zur Speicherung ihrer S3-Daten auszuwählen, können sie nun mit S3 Express One Zone die spezifische AWS-Verfügbarkeitszone (Availability Zone) innerhalb einer AWS-Region auswählen, um ihre Daten zu speichern. Sie können wählen, ihren Speicher in derselben Verfügbarkeitszone wie ihre Rechenressourcen zu platzieren, um die Leistung weiter zu optimieren.

„Amazon S3 Express One Zone bietet die schnellste Datenzugriffsgeschwindigkeit für die anspruchsvollsten Anwendungen“, konstatierte James Kirschner, General Manager von Amazon S3. Selipsky nannte bereits eine Reihe von Kunden, die in ihren jeweiligen AWS-Blogs die Nutzung beschreiben. Als Anwender nannte er Pinterest, die Webseite für kreative BildersammlerInnen und -kreatorInnen.

Jeff Barr zeigt in seinem Blog, wie sich EOZ „in action“ handhaben und optimal nutzen lässt. Es gibt nämlich gewisse Limits und Einschränkungen. Barr verweist auf die Preisgestaltung von „S3 One Zone/seltener Zugriff“, doch die Preise des neuen Dienstes Express One Zone sucht man dort bislang vergeblich.

Anwender von Amazon S3 Express One Zone

ChaosSearch nennt in ihrem Blog Vorteile hinsichtlich des Kostenaufwandes und der Performance. ChaosSearch sei eine auf S3 basierende Datenbank, die auf einer Serverless- und Stateless-Architektur in AWS aufgebaut worden sei. Sie ermögliche Echtzeitsuchen, SQL-Abfragen und GenAI-Analytik. Besonders in der letztgenannten Disziplin macht der rasche Erhalt von Ergebnissen den Unterschied zwischen Erfolg und Misserfolg aus.

Der ISV Akridata soll die Verarbeitung unstrukturierter Daten mit Amazon S3 EOZ beschleunigen. Deep-Learning-Prozesse lesen vollständige Datenmengen, die mitunter Hunderte von Gigabyte groß sein können, bevor sie mit intelligenter Datenverarbeitung beginnen. Dafür ist also eine hohe Abrufgeschwindigkeit ebenso entscheidend wie eine niedrige Latenzzeit, damit Nutzer leistungsbedingte Workloads performant ausführen können. Der Akridata Data Explorer erlaube die effiziente Durchsuchung und Analyse von Video- und Bildmengen.

LakeFS von Treeverse soll mit S3 Express One Zone die performante Datenversionskontrolle für ML/KI ermöglichen. Machine Learning erfordert das Feintuning kritischer Workloads für Daten-Teams. Datenversionskontrolle ist eine Facette leistungsfähiger Machine-Learning-Pipelines, denn sie erlaubt effizientes Experimentieren und die vollständige Kontrolle einer Machine-Learning-Pipeline. lakeFS ist ein skalierbares Datenversionskontrollsystem für Data Lakes. Es ist sowohl als Open-Source-Projekt als auch als Cloud-Angebot auf AWS verfügbar.

„Speicherhungrig“ – der Storage-Insider-Podcast, Folge 3

DNA als Datenspeicher – Zukunftsmusik oder Storage-Chance?

ClickHouse Cloud ist die SaaS-Version der spaltenorientierten Datenbank ClickHouse, die auf sehr schnelle, interaktive Analysen ausgelegt ist. Für Echtzeitanalysen sind Datenströme in der Größenordnung von Millionen Ereignissen pro Sekunden nötig. Sie erlauben komplexe analytische Abfragen, so etwa Filtern, Aggregationen sowie Look-ups und Joins in Echtzeit.

Die entsprechenden Datenmengen umfassen häufig Tera- und Petabyte. Dafür erstellte ClickHouse eine eigene Caching-Lösung, um die Performancelücke zu schließen, doch die lokalen Laufwerke erwiesen sich als teuer und schwierig zu verwalten. Eine Fallstudie beschreibt den interessanten Werdegang von ClickHouse mit AWS, für den ein ganzes Jahr nötig war, bis die Firma endlich S3 EOZ verwenden konnte.

Weitere Neuheiten

Amazon verfügt über eine Reihe von Storage-Diensten, von denen einige eine Erweiterung oder Überarbeitung erfahren haben. Der Interessent sollte darauf achten, ob es sich um eine Ankündigung (Preview) oder ein verfügbares Produkt („generally available“) handelt.

Amazon EBS Snapshots Archive ist jetzt für AWS Backup verfügbar. Das Leistungsmerkmal erlaubt es Nutzern, selten abgefragte EBS-Snapshots in einem kostensparenden Langzeit-Archiv-Service abzulegen. Auch für Amazon EFS (Elastic File System) lässt sich nun eine kostensparende Speicherklasse namens EFS Archive nutzen.

Replikation ist ein wichtiger Service für viele Storage-Dienste in AWS und unverzichtbar für Disaster Recovery. Für die Amazon Elastic File Services (EFS) steht nun das Failback für Replikation zur Verfügung, und der Datendurchsatz (IOPS) wurde gesteigert. Failback für Replikation soll die Synchronisation während einer Disaster Recovery erleichtern. Amazon EFS unterstützt jetzt bis zu 250.000 Lese-IOPS und bis zu 50.000 Schreib-IOPS pro Filesystem.

Die Replikation eines Snapshots aus einem Filesystem in ein anderes Filesystem ist nun mit Amazon FSx für OpenZFS realisierbar. OpenZFS ist eine Storage-Plattform, die alle wichtigen Merkmale eines Speicherbetriebssystems aufweist und daher von vielen Herstellern unterstützt wird.

In AWS Backup lässt sich die Wiederherstellungs-und-Validierungs-Funktion nun automatisieren. Damit lassen sich Überraschungen vermeiden, wenn jede Sekunde zählt, um aus den Backups nach einem Datenverlust oder einer Ransomware-Attacke eine funktionierende IT-Umgebung wiederherzustellen. Bei der Validierung wird geprüft, ob die Sicherheitskopien manipuliert worden sind.

Für die verbreitete NetApp-Ontap-Storage-Plattform stellt Amazon drei neue Dienste bereit. Jeff Barr schreibt in seinem Blog, dass Nutzer von Ontap-Dateisystemen in Virtual Private Clouds (VPCs) nun Multi-AZ-FSx erzeugen können, die mit dem Nutzer anderer Accounts in derselben AWS-Organisation geteilt wurden. Zuvor war es nur möglich, Single-AZ-FSx für Ontap-Dateisysteme in geteilten Subnets zu nutzen. Offenbar wurde die Multi-AZ-FSx-Funktion stark nachgefragt. Jeff Barr fügt hinzu: „Dieses Feature erlaubt die klare Trennung der Pflichten zwischen Netzwerk- und Speicher-Administratoren. Zudem erlaubt es die Erstellung von Speicher, der robust, hochverfügbar und leicht von mehreren VPCs aus zugänglich ist.“

Bildergalerie

Die Möglichkeit des Scale-Outs für Amazon FSx für NetApp Ontap erlaubt die Beschleunigung von Dateioperation um das Neunfache. Im Gegensatz zum Scale-Up-Modell ist das Scale-Out-Verfahren viel leistungsfähiger. Wie Barr in seinem Blog schreibt, unterstützt das neue Feature bis zu sechs HA-Serverpaare (Scale-Up: nur ein Serverpaar) mit entsprechend hoher Performance: bis zu 36 GBps Lesezugriff, bis zu 6,6 GBps Schreibzugriff, bis zu 1,2 Millionen SSD-IOPS, bis zu 1 PiB SSD-Storage. Der Datendurchsatz pro Server ist entsprechend zu konfigurieren, wie Barr in einer zweiten Tabelle darstellt.

Für NetApp Ontap ist nun das sogenannte FlexGroup Volume Management for Amazon FSx verfügbar. FlexGroups sind gerade für Machine Learning und KI wichtig, denn sie können bis zu 20 PiB groß sein, Milliarden von Files umfassen und bieten höhere Leistung für solche anspruchsvollen Workloads.

Mit der neuen Option können Nutzer neue oder bestehende FlexGroup Volumes mithilfe der AWS Management Console erstellen, verwalten und sichern. Sie brauchen dazu lediglich das Amazon FSx CLI (Befehlszeile) und das AWS SDK. Zuvor waren noch das Ontap-CLI und die Ontap-REST-API nötig. In Barrs Blog wird anhand von Screenshots genau beschrieben, wie dieses Leistungsmerkmal in der AWS Management Console zu handhaben ist.

Aktuelles eBook

Storage-Security – wie sichern Unternehmen ihre Daten ab?

Sich mit der Sicherheit von Storage-Systemen zu beschäftigen, ist heute notwendiger denn je. Neun von zehn Unternehmen wurden bereits mit Ransomware angegriffen. Einen Überblick über Schutzmaßnahmen und -technologien bietet dieses eBook.

Die Themen im Überblick:

• Replikation und Verschlüsselung
• Backup-Verfahren und -Schutz
• Wiederherstellung
• Air-Gap
• Unveränderbare Backups & Disaster Recovery
• Wirtschaftliche Aspekte

eBook „Storage-Security“ kostenlos downloaden

(ID:49834774)