Mobile-Menu

Storage für KI Scality stellt AI Inference Factory für On-Prem-KI vor

Von Michael Matzer 8 min Lesedauer

Anbieter zum Thema

Scality SA
FAST LTA GmbH

Die Scality AI Inference Factory ist ein Open-Code-Software-Stack, der es Unternehmen erlauben soll, validierte Open-Weight-KI-Modelle auf ihrer eigenen Infrastruktur auszuführen. So erzielen sie planbare Kosten (mit Tokens) sowie volle Kontrolle über die genutzten Modelle und gewährleisten ihre Datensouveränität. Die Factory ist bereits verfügbar.

Mit seiner AI Inference Factory stellt Scality Unternehmen einen Software-Stack auf Open-Code-Basis für die Bereitstellung und den Betrieb von KI-Inferenz auf On-Prem-Infrastruktur vor.(Bild: KI-generiert)
Mit seiner AI Inference Factory stellt Scality Unternehmen einen Software-Stack auf Open-Code-Basis für die Bereitstellung und den Betrieb von KI-Inferenz auf On-Prem-Infrastruktur vor.
(Bild: KI-generiert)

Der Schritt der Inferenz in der Nutzung von KI-Modellen ist inzwischen zu einem Engpass geworden, wenn es um die Antwortzeiten von Prompt-Eingaben geht. Die Gründe liegen einerseits in der Storage-Infrastruktur, andererseits auch in der Art und Weise, wie Inferenz ausgeführt wird. Drittens gilt es beim Laden und Liefern von Suchergebnissen immer mehr Regularien zu beachten, insbesondere die Datensouveränität.

Diese Herausforderungen geht Scality, ein Betreiber sehr großer Storage-Installationen bei Kunden in allen Branchen, mit der Scality AI Inference Factory an. Dabei handelt es sich um einen Open-Code-Software-Stack für die Bereitstellung und den Betrieb von KI-Inferenz auf der eigenen Infrastruktur, also On-Premises. Hier laufen besonders kritische KI-Prozesse, die auf der Datensouveränität basieren.

Weiterführende Inhalte