Datenkompression Neuer Algorithmus soll den Markt revolutionieren

Anbieter zum Thema

FAST LTA GmbH

Impossible Cloud GmbH

Im Zeitalter der KI wird immer weniger gelöscht – die Daten könnten ja noch irgendwann als Erkenntnisquelle dienen, die sich durch entsprechende Algorithmen nutzen lässt. Außerdem entstehen immer mehr Daten. Folglich wachsen die Speicherkapazitäten unaufhörlich.

In dieser Situation sind effektivere Kompressionsalgorithmen eine der Hoffnungen, wie man das Problem verkleinern kann. Nun bringt ein neuer Firmen-Winzling, präsentiert auf einer „IT Press Tour“ in Amsterdam, einen neuen verlustfreien Algorithmus, auf den das Unternehmen große Hoffnungen setzt: SISP Technologies, dessen Kernpersonal aus lediglich drei Personen besteht: CEO Nicholas Stavrinou, CTO Stuart Marlow and CMO Samantha Sweetland. Daneben gibt es einen Programmierdienstleister, der Coding-Aufgaben nach Ansage übernimmt.

CompressionX: inspiriert von Mathekurs

Die Grundidee für die heutige Lösung, auf die Stavrinou und Marlow sechs Patente halten, ereilte Stavrinou in einem Mathematik-Kurs zum Thema Grenzwerte als eine Art Gedankenblitz: Was bedeutet es, wenn etwas dem Nullpunkt immer näher kommt, aber dennoch nicht verschwindet?

Dieser Grundgedanke wurde von Stavrinou und insbesondere CTO Steve Marlow auf Datenkompression angewandt und in jahrelanger Feinarbeit so lange weiterentwickelt, bis daraus ein neuer Kompressionsalgorithmus, CompressionX, entstanden ist.

Die derzeitige Vielfalt an Kompressionsalgorithmen auf dem Desktop mit jeweils unterschiedlichen Nutzerschnittstellen und teilweise komplizierter Handhabung schreie nach Erneuerung, meint Stavrinou. Außerdem, so Marlow, fehle plattformübergreifende Kompatibilität. Auch die Sicherheit lasse gelegentlich zu wünschen übrig. Und oft reiche die Geschwindigkeit nicht, wenn die Kompressionsrate stimmt. „Wir wollen ganz einfach überall punkten“, sagt Stavrinou.

Kernel arbeitet systemübergreifend

Um die Idee praktisch in Produkte umzusetzen und zu vermarkten, gründeten die beiden 2012 SISP Technologies Ltd. Ein erstes Ziel neben der Entwicklung des Algorithmus selbst war, seine Anwendung zu automatisieren. Entstanden ist mittlerweile eine Desktop-Version für iOS und Windows, die auf jeden Rechner heruntergeladen werden kann und dort arbeitet. Geplant sind beispielsweise Versionen für Linux, iOS mobil und Android.

Der Kernel, schlanke 500 kByte C-Code, ist softwareübergreifend und auch in der Cloud anwendbar. Eine konkrete Version für die Integration in eine Cloud-Umgebung gibt es aber noch nicht. In bestimmten Umgebungen braucht der Kernel einen Wrapper, der die Geschwindigkeit einmalig pro Aufruf geringfügig verlängert.

Die Handhabung wurde sehr einfach gestaltet. So werden einzelne Funktionen nur angeboten, wenn sie zur jeweiligen Arbeitsaufgabe passen. Der Kompressionsalgorithmus ist komplett selbst entwickelt und hat keine Abhängigkeiten von anderen Technologien. Sicherheit ist technologieinhärent, Verschlüsselung eingebettet. Die Entschlüsselung geschieht auf dem jeweiligen Endgerät und wird durch Passwort ermöglicht – was bedeutet, dass Anwender gut auf ihr Passwort aufpassen müssen, denn ein Fallback gibt es nicht.

Strukturierte Daten: minus 90 Prozent

Strukturierte Daten verkleinert CompressionX laut Marlow um mehr als 90 Prozent. Dabei zählen Videos und Fotos wegen der festgelegten Breite als strukturierte Daten. Audios lassen sich in Zeiteinheiten gleicher Länge teilen, die dann als Struktur gelten. Bei unstrukturierten Daten erzielt die Software mehr als 60 Prozent verlustfreie Kompression.

Das ist allerdings mitnichten so einmalig, wie der Anbieter gern hätte: 90 Prozent schaffen auch einige andere Tools bei günstig aufgebauten strukturierten Daten, etwa schon das frei erhältliche 7-Zip. Bei der verlustfreien Kompression unstrukturierter Daten ist es durchaus üblich, dass das Volumen um die Hälfte bis 20 Prozent abnimmt – da bliebe im suboptimalen Fall beim Vergleich mit CompressionX nur noch ein Zugewinn von zehn Prozent. Allerdings, so das Management von SISP, seien die kompressionsstarken Algorithmen oft langsam, die schnellen oft wenig kompressionsstark, während man selbst in beiden Bereichen und noch dazu beispielsweise bei der Plattformunabhängigkeit und der automatischen Verschlüsselung punkte.

Unstrukturierte Daten: Prefix-Encoding

Zum Komprimieren unstrukturierter Daten verwendet CompressionX Prefix-Encoding wie etwa auch WinZip. Dokumente mit Bildern, Texten, Audio et cetera werden dabei in ihre Komponenten aufgeteilt, gleichartige Komponenten in eine Spalte gruppiert und die Daten spaltenweise komprimiert. Zudem arbeitet der CompressionX-Algorithmus umso besser, je mehr Daten ihm zugespielt werden. Die Kooperation mit anderen Reduktionsmechanismen wie Deduplizierung ist möglich.

Außerdem unterscheidet die Software anhand der Änderungshäufigkeit, ob ein Textelement eher wichtig oder eher unwichtig ist. Vermutlich sehr wichtige (häufig veränderte) Elemente (Elemente hoher Entropie) werden weniger stark komprimiert als vermutlich unwichtigere.

Mögliche Strukturbreite immens erhöht

Die maximale einlesbare Breite der Datenstruktur strukturierter Elemente liegt aber nicht wie sonst üblich bei 64 sondern bei mehr als 65.000 Bits; der Algorithmus ist also für zukünftige Hardwaregenerationen vorbereitet. Dabei wird die Verarbeitungsbreite an die Kapazitäten der Hardware angepasst.

Läuft die Software auf einem Desktop, ist eine Funktion vorgesehen, aber noch nicht realisiert, die das System laufend scannen und die Anwender benachrichtigen soll, dass kalte Daten komprimiert werden können. Anwender sollen außerdem zwischen mehreren Optimierungen zwischen Geschwindigkeit und Kompressionsrate wählen können. Die Integration in die Cloud ist geplant.

Mögliche Anwendungsgebiete sind auch Datenströme erzeugende Systeme und deren Softwarestacks, wie sie beispielsweise beim autonomen Fahren, in intelligenten Häusern oder in Versorgungsinfrastrukturen (Öl, Gas, Strom) entstehen. In solchen Umgebungen könnte CompressionX als Teil des Softwarestacks implementiert werden und die Transportdauer von Daten verringern helfen. Dafür arbeitet das Unternehmen an einem SDK (Software-Development-Kit).

„Speicherhungrig“ – der Storage-Insider-Podcast, Folge 17

Speichergrößen: Sascha Hempe, Datadobi

Einfaches Preismodell

Die Basis-Version der Software lässt sich unter kostenlos herunterladen und nutzen. Werden mehr als 25 GByte monatlich komprimiert, ist eine Kommerz-Version für 3,99 britische Pfund im Monat fällig. Das Geld wird jährlich abgebucht. Geplant ist eine Profi-Version mit mehr Metering-, Management- und Steuerungsfunktionen. Wie deren Preisschema aussieht, steht noch nicht fest.

Fraglich ist allerdings, ob Anwender bereit sind, für ein heute kostenloses Funktionselement, die Kompression, Geld auszugeben – zumal die Kompressionsraten eben doch nicht revolutionär sind und ein paar Sekunden Zeitersparnis nicht jeden überzeugen.

Wie dem auch sei: In den ersten drei Monaten der Online-Verfügbarkeit von CompressionX wurde die Beta-Software, die derzeit zur Verfügung steht, bereits mehr als 400.000-mal heruntergeladen. Damit ist das Unternehmen sehr zufrieden.

Noch im September soll eine neue Version kommen, deren Kompressionsleistung bei unstrukturierten Daten die der bisherigen Version weit übersteigt. Auch weitere zusätzliche Funktionen sind vorgesehen.

Umweltschutz inklusive

Weil dem Management die Umwelt wichtig ist, ging SSIP eine Partnerschaft mit Pinwheel ein, einem Dienstleister für die Ermittlung von Kohlendioxid-Verbräuchen. Denn dem Team ist ein positiver gesellschaftlicher Einfluss wichtig.

Weiter investiert SISP einen Teil der Erlöse in vier Umweltprojekte:

• die Beseitigung von Methanemissionen,

• Seegras-Konservierung,

• die Ausbildung weiblicher Ranger, die die Elefantenjagd verhindern sollen,

• und spezielle Wasserernte-Becken für das Auffangen von Regen; damit sollen ausgetrocknete Gegenden wieder fruchtbar gemacht werden.

Da das Unternehmen sich im ersten umsatzgenerierenden Jahr befindet, wurde dieses Jahr zwar Geld für alle Projekte gespendet, aber noch kein Prozentsatz der Erlöse für die Zukunft festgelegt. Das ist geplant, sobald das Finanzergebnis das zulässt.

Aktuelles eBook

Storage-Software als Effizienzbooster

Mit der geeigneten Storage-Software kann sich ein Unternehmen einen Effizienzbooster ins Haus holen oder in der Cloud abonnieren. Dieser Booster steigert nicht nur die Performance der geschäftskritischen Anwendungen, sondern optimiert auch die Kosten der bereits installierten Speichersysteme.

Die Themen im Überblick:

• Herausforderungen eines modernen Speichersystems
• Methoden und Technologien effizienter Speichersysteme
• Effizienter Speicher mit Pure Storage, AWS, Cohesity und Dell

eBook „Storage-Software als Effizienzbooster“ kostenlos downloaden

(ID:50544229)