Stackable Dateninfrastruktur als Open-Source-Puzzle

Anbieter zum Thema

FAST LTA GmbH

Impossible Cloud GmbH

Mit steigenden Datenmassen werden passende Infrastrukturen immer wichtiger. Wer eine Datenplattform aus Open-Source-Komponenten auf Kubernetes errichten möchte, kann zu Stackable greifen.

Immer mehr Funktionen von IT-Infrastruktur werden auf Standardhardware mit quelloffener Software realisiert. Das gilt auch für die Dateninfrastrukturen. Vorteile sind Flexibilität, Herstellerunabhängigkeit und günstige Anschaffungskosten. Dem steht der Nachteil gegenüber, dass mehr Arbeit auf die Anwender zukommt.

Die Wurzeln von Open-Source-Storage-Lösungen liegen in Googles Filesystem Paper und der später entstandenen offenen Big-Data-Technologie Hadoop. Die war aber komplex, kompliziert zu installieren und daher wenig praxistauglich. Deshalb entstanden Firmen, die diese Basistechnologie in kommerzialisierbare Produkte umsetzen – Beispiele sind Cloudera, Hortonworks, MapR und andere.

Mit dem Auftauchen der Cloud gab es Alternativen zu den proprietären, recht teuren Hadoop-basierenden Vor-Ort-Infrastrukturen. Der Markt konsolidierte. Übrig ist von den einstigen Anbietern heute noch Cloudera. Das Unternehmen bot lange Zeit eine kostenlose Community-Edition an, die aber vor vier Jahren abgeschafft wurde. Clouderas Preis stieg gleichzeitig auf ein Mehrfaches.

Cloudera-Nachfolge

Stackable präsentierte seine Geschichte auf einer „IT-Press-Tour“ in Amsterdam. Das Unternehmen entstand aus einer Open-Source-Beratung. Verärgerte Anfragen von Cloudera-Kunden, die nach dem Open-Source-Abschied des Anbieters nicht wussten, wie sie die Situation handhaben sollten, resultierten in einer Art „Cloudera-Selbsthilfegruppe mit etwa 70 deutschen Firmen“ (Stackable-Geschäftsführer Sönke Liebau). Dort sammelte man Ideen für einen kostenlosen Cloudera-Ersatz. Es stellte sich jedoch heraus, dass das ohne eine Firma im Hintergrund wohl nicht funktionieren würde.

Während eines durch Corona verursachten längeren Aufenthalts bei der Herkunftsfamilie in Wedel, der Ort ist heute der Firmensitz von Stackable, legte Liebau mit seinem Mitgründer Lars Francke 2020 die Grundlagen für Stackable. Die beiden halten heute etwas mehr als die Hälfte der Firma. Der Cloud-Provider Ionos entschied sich, Geld in Stackable zu investieren; er hält rund ein Viertel. Zudem nutzt er die Software von Stackable.

Dazu kamen mit b.telligent ein weiterer Investor. Für die wirtschaftlichen Aspekte des Firmenaufbaus wurde Sebastian Amtage als CEO an Bord geholt. Als Mentor fungierte Peter Ganten von der Open Source Business Alliance (OSBA).

Proprietary muss draußen bleiben

Stackable verwendet ausschließlich Open-Source-Software. Aus verschiedenen bewährten Open-Source-Daten-Apps können sich Anwender selbst mittels Infrastructure-as-Code eine individualisierte Storage-Umgebung auf Kubernetes-Basis zusammenbauen. Das reicht von der Infrastrukturbasis bis zur Anwendungsebene. Mit Stackable entwickelte Infrastrukturen laufen daher auf jeder Hardware, auf der Kubernetes läuft – einschließlich Laptops und der Cloud. Wettbewerber sind neben Cloudera Firmen wie Databricks, Snowflake, Confluent, Palantir und Starburst.

Die meisten Kunden sind größer als 1.000 Mitarbeiter. Bisher gibt es zwischen 20 und 30 Kunden, von denen einige OpenShift von Red Hat verwenden. Zu ihnen gehört Atruvia. Der Dienstleister übernimmt für viele deutsche Banken die Betrugsdetektion. Auch die Versicherung HUK nutzt Stackable, genau wie das britische Verteidigungsministerium.

Die Konzentration auf Kubernetes wirkt sich kaum begrenzend auf den Erfolg aus. „Nur beim öffentlichen Sektor können wir derzeit oft nicht punkten“, sagt Liebau.

Hohe Wachstumsrate

Geld verdient Stackable mit Support, Training und Consulting. Das gesamte Personal mit technischen Kenntnissen übernimmt Supportaufgaben. Insgesamt beschäftigt Stackable 20 Mitarbeiterinnen und Mitarbeiter, davon derzeit lediglich eine Frau.

Lizeniert werden die verwendeten Nodes, wobei es ein Limit von 32 Cores pro Node gibt. Die Zahl der verwendeten Open-Source-Softwarewerkzeuge spielt keine Rolle. Derzeit fragt Stackable die Kunden einmal jährlich, wie viele Nodes in Nutzung sind, und rechnet auf dieser Basis ab. Pro Node ist pro Jahr eine vierstellige Summe fällig.

Die Wachstumsrate liegt etwa bei 50 Prozent jährlich, wobei der Vertriebszyklus dank der großen Kunden etwa zwei Jahre dauert. Derzeit ist Stackable noch nicht in der Gewinnzone, will sie aber im kommenden Jahr erreichen.

Betriebsvarianten

Stackable-Kunden betreiben ihre Infrastrukturen selbst und müssen sie auch selbst aufbauen – ob On-Premises oder auf Kubernetes-Infrastrukturen in der Public Cloud. Alternativ gibt es bei Ionos eine Stackable Data Platform als PaaS. Eine Reihe von Beratungspartnern hilft den Kunden beim Aufbau ihrer Plattform. „Wir selbst machen so wenig Beratung wie möglich“, betont Liebau.

Dafür misst man die Leistung der Implementierungen. Stackable erstellt selbst Logs der Umgebungen mit Open-Source-Software, die dann an die Kunden weitergeleitet werden. Diese können dann die Daten mit ihren eigenen Werkzeugen auswerten.

Kubernetes-Komplexität effektiv abgeschirmt

Grundsätzlich schirmt Stackable die Anwender oder deren Berater vom größten Teil der Komplexität ab, die sich aus Open Source, Kubernetes und dem Zusammenstricken unterschiedlicher Tools ergibt. Zudem ermöglicht die Plattform, genau diejenigen Funktionen zu implementieren, die aktuell benötigt werden.

Vor durchaus üblichen Wechseln von Softwareherstellern zwischen Open-Source- und kommerziellem Modell, wie ihn beispielsweise MinIO und Cloudera vollzogen haben, schützt sich Stackable durch ausführliche Urheberrechtsrecherchen, bevor ein Tool in die Plattform aufgenommen wird. Die meisten Tools gehören gemeinnützigen Stiftungen.

„Speicherhungrig“ – der Storage-Insider-Podcast, Folge 17

Speichergrößen: Sascha Hempe, Datadobi

So baut man die eigene Plattform

Kunden verwenden zum Aufbau ihrer Plattformen Customer-Resource-Definitions, die für jedes Tool in der Online-Dokumentation von Stackable zu finden sind. Sie liefern den entstehenden Code an Stackable-Operatoren. Das sind Softwarewerkzeuge, von denen es für jede Daten-App eines gibt. Sie bringen die in den CRD beschriebenen Anforderungen in eine für Kubernetes verständliche Form. Das vorinstallierte Kubernetes baut dann die entsprechende Infrastruktur nach den Vorgaben auf.

Zu den unterstützten Daten-Apps gehören Spark, Trino, Nifi, Kafka, Druid, Zookeeper, Hive, Superset und andere. Das Spektrum der nutzbaren Tools wird ständig erweitert. Als Nächstes soll OpenSearch folgen.

Um die Sicherheit und Komfort zu erhöhen, liefert Stackable beispielsweise CycloneDX-basierende Softwarelisten (SBOM, Software Bill of Material) seiner Images, Checklisten und regelmäßige Sicherheitsberichte zu den einzelnen Tools. Unter anderem arbeitet Stackable an einer europaweiten CRA-Expertengruppe (Cyber Resilience Act) auf europäischer Ebene mit.

Stackable 25.7: Neuigkeiten

Vor Kurzem wurde Stackable auf Version 25.7 aktualisiert und in vielen Bereichen verbessert. So unterstützt es jetzt wieder Apache Iceberg, weiter (derzeit experimentell) Spark Connect für interaktive Data-Science-Workflows direkt aus mobilen Rechnern. Der Datenkatalog Trino 376 lässt sich nun mit diversen LLMs nutzen. Auch für Zookeeper gibt es neue Funktionen.

Aus Anwendersicht sehr erfreulich ist ein Listener-Operator für den externen Zugriff auf Metriken. Alle Operatoren geben nun Open-Telemetry-Protokolle und -Messwerte heraus. Die Einrichtung von DNS-Domänen entfällt, da Cluster-Domänen automatisch erkannt werden. Der Abruf von Trust-Root-Zertifikaten wurde verbessert und die Konfiguration von Exportern vereinheitlicht. Das System kann jetzt aggregierte Fehlermeldungen („Fehler ist x-mal in y Minuten aufgetreten“) erstellen.

Zudem beseitigte Stackable zahlreiche Schwachstellen. Den Monitoring-Abstand hat Stackable auf 30 Minuten verkürzt. Beides erhöht die Sicherheit.

Aktuelles eBook

Storage-Software als Effizienzbooster

Mit der geeigneten Storage-Software kann sich ein Unternehmen einen Effizienzbooster ins Haus holen oder in der Cloud abonnieren. Dieser Booster steigert nicht nur die Performance der geschäftskritischen Anwendungen, sondern optimiert auch die Kosten der bereits installierten Speichersysteme.

Die Themen im Überblick:

• Herausforderungen eines modernen Speichersystems
• Methoden und Technologien effizienter Speichersysteme
• Effizienter Speicher mit Pure Storage, AWS, Cohesity und Dell

eBook „Storage-Software als Effizienzbooster“ kostenlos downloaden

(ID:50577542)