Speichertipp: Speicheroptimierter In-Memory-Cache ohne GC-Last BigCache für Go-Anwendungen

Anbieter zum Thema

FAST LTA GmbH

Impossible Cloud GmbH

BigCache adressiert ein zentrales Problem speicherintensiver Go-Anwendungen mit hohen Zugriffsraten: Klassische Maps und pointerlastige Datenstrukturen belasten den Garbage Collector erheblich, sobald Millionen Einträge im Heap liegen. BigCache verfolgt einen anderen Ansatz und lagert Cache-Daten in Byte-Slices aus, die der GC nicht traversiert. Dadurch sinken Pausenzeiten auch bei extrem großen Datenmengen.

BigCache implementiert einen sharded Aufbau mit einer festen Anzahl von Segmenten, die parallel zugreifbar bleiben. Jeder Shard verwaltet seine Einträge eigenständig, was Lock-Contention reduziert und lineare Skalierung bei parallelen Zugriffen ermöglicht. Die interne Indexstruktur basiert auf „map[uint64]uint32“, wobei der Schlüssel als Hash vorliegt und der Wert auf einen Offset innerhalb eines Byte-Slices verweist. Da weder Schlüssel noch Werte Pointer enthalten, ignoriert der GC den eigentlichen Cache-Inhalt vollständig.

Einträge liegen sequentiell in großen Byte-Arrays. Diese Arrays können Größen im Gigabyte-Bereich erreichen, ohne dass sich die GC-Laufzeit proportional erhöht. Der GC sieht nur einen einzelnen Zeiger pro Slice. Serialization und Deserialization erfolgen außerhalb des Caches, da BigCache ausschließlich mit „[]byte“ arbeitet. Dieser Entwurf zwingt zur bewussten Kontrolle der Datenformate, reduziert jedoch Laufzeitkosten signifikant.

Lebensdauer von Cache-Einträgen steuern

Die Lebensdauer von Cache-Einträgen steuert BigCache über zwei Zeitparameter. LifeWindow definiert die maximale Gültigkeit eines Eintrags. Nach Ablauf dieser Zeit gilt der Eintrag als abgelaufen, verbleibt jedoch zunächst im Speicher. CleanWindow legt das Intervall fest, in dem ein Clean-up-Prozess abgelaufene Einträge physisch entfernt. Eine zu kurze Einstellung verursacht unnötige CPU-Last, da BigCache eine Sekundenauflösung nutzt. Eine zu lange Einstellung erhöht temporär den Speicherverbrauch, verändert jedoch nicht die logische Gültigkeit der Daten.

Für produktive Szenarien mit vorhersagbarer Last empfiehlt sich eine explizite Konfiguration. Die Anzahl der Shards beeinflusst die Parallelität direkt und muss eine Zweierpotenz darstellen. „MaxEntriesInWindow“ und „MaxEntrySize“ dienen ausschließlich der initialen Speicherreservierung und vermeiden spätere Reallokationen. „HardMaxCacheSize“ begrenzt den maximalen Speicherverbrauch in Megabyte. Sobald dieser Wert erreicht ist, überschreibt BigCache die ältesten Einträge shardweise. Dieses Verhalten erlaubt eine kontrollierte Speichergrenze ohne vollständige Eviktion.

BigCache bietet optionale Callback-Mechanismen für das Entfernen von Einträgen. „OnRemoveWithReason“ liefert eine Ursache für die Entfernung, etwa Ablauf der Lebensdauer, Platzmangel oder explizites Löschen. Diese Information erlaubt es, Nebenwirkungen außerhalb des Caches zu synchronisieren, ohne den internen Datenpfad zu blockieren. Wird kein Callback gesetzt, verbleibt die interne Datenstruktur vollständig ohne Entpacken der Einträge.

Hash-Kollisionen behandelt BigCache bewusst nicht. Trifft ein neuer Schlüssel auf einen bestehenden Hash, überschreibt der neue Eintrag den alten Wert. Diese Designentscheidung vermeidet zusätzliche Prüfungen im Hot Path und reduziert Latenzen. Anwendungen mit hohem Kollisionsrisiko müssen den Hashraum entsprechend wählen oder eigene Schutzmechanismen implementieren.

Aktuelles eBook

Storage-Software als Effizienzbooster

Mit der geeigneten Storage-Software kann sich ein Unternehmen einen Effizienzbooster ins Haus holen oder in der Cloud abonnieren. Dieser Booster steigert nicht nur die Performance der geschäftskritischen Anwendungen, sondern optimiert auch die Kosten der bereits installierten Speichersysteme.

Die Themen im Überblick:

• Herausforderungen eines modernen Speichersystems
• Methoden und Technologien effizienter Speichersysteme
• Effizienter Speicher mit Pure Storage, AWS, Cohesity und Dell

eBook „Storage-Software als Effizienzbooster“ kostenlos downloaden

(ID:50683705)