Mobile-Menu

Hardware für KI-Inferenz am Edge Edge-KI-Speicher für private LLM- und generative KI-Workloads

Von Bernhard Lück 2 min Lesedauer

Anbieter zum Thema

AMD Advanced Micro Devices GmbH
QNAP Systems, Inc.
NVIDIA
FAST LTA GmbH
Impossible Cloud GmbH

QNAP präsentiert mit dem QAI-h1290FX einen Edge-KI-Speicherserver für den lokalen Betrieb von Large Language Models, RAG-Anwendungen und generativer KI. Unternehmen könnten damit KI-Workloads mit geringer Latenz, voller Datenkontrolle und ohne Cloud-Abhängigkeit ausführen.

Mit dem QAI-h1290FX bietet QNAP eigenen Angaben zufolge einen praxisorientierten, hochleistungsfähigen Ansatz zur Implementierung generativer KI innerhalb von Unternehmensgrenzen.(Bild: QNAP)
Mit dem QAI-h1290FX bietet QNAP eigenen Angaben zufolge einen praxisorientierten, hochleistungsfähigen Ansatz zur Implementierung generativer KI innerhalb von Unternehmensgrenzen.
(Bild: QNAP)

Das QAI-h1290FX setzt auf einen für KI-Inferenz, Virtualisierung und parallele Workloads ausgelegten AMD-EPYC-7302P-Prozessor mit 16 Kernen und 32 Threads. Zwölf U.2-Steckplätze für NVMe- oder SATA-SSDs bilden eine All-Flash-Speicherarchitektur, mit der laut QNAP niedrige Latenzen bei hochfrequenten Modellabfragen und Daten-Streaming möglich seien.

Optional lässt sich das Gerät mit einer Nvidia-RTX-Pro-6000-Blackwell-Max-Q-GPU bestücken, die bis zu 96 GB GPU-Speicher bietet und Technologien wie CUDA, TensorRT und die Transformer Engine unterstützt. Die GPU-Anbindung erfolgt über Container Station mit nativem GPU-Zugriff in Docker- und LXD-Containern sowie über GPU-Passthrough für virtuelle Maschinen via Virtualization Station.

Netzwerkseitig verfügt das System über zwei 25-GbE- und zwei 2,5-GbE-Ports; über PCIe-Erweiterungsslots sind laut Anbieter 100-GbE-Upgrades möglich. Für größere Speicherkapazitäten bestehe Kompatibilität mit QNAP-JBOD-Erweiterungsgehäusen.

Betriebssystem und vorinstallierte KI-Tools

Als Betriebssystem kommt QuTS hero zum Einsatz, das auf ZFS basiert und nach Angaben von QNAP Funktionen wie nahezu unbegrenzte Snapshots, Inline-Deduplizierung und Datenintegrität auf Enterprise-Niveau mitbringt.

Vorinstalliert sind mehrere KI-Tools: AnythingLLM, OpenWebUI und Ollama sollen eine schnelle Inbetriebnahme privater LLM-Workflows ermöglichen. Darüber hinaus würden auch Stable Diffusion, ComfyUI, n8n und vLLM integriert, womit Anwendungsfälle wie KI-gestützte Bildgenerierung, Workflow-Automatisierung oder Datenbanksuchen abgedeckt würden. Die Verwaltung der GPU-Ressourcen und das Starten von KI-Anwendungen seien über ein integriertes AI App Center ohne manuelle Konfiguration über die Befehlszeile möglich.

Positionierung und Zielgruppe

QNAP positioniert das Gerät für Anwendungsszenarien, in denen Datensouveränität und Compliance-Anforderungen eine Cloud-Nutzung erschweren oder ausschließen – etwa im Rechts- und Personalwesen oder im IT-Betrieb. Konkret nennt der Anbieter interne Chat-Assistenten, unternehmenseigene RAG-Suche in Verträgen und Dokumenten sowie KI-Automatisierung über n8n als typische Einsatzgebiete.

Aktuelles E-Book

Storage für HPC & KI

E-Book Storage für HPC & KI
E-Book „Storage für HPC & KI“
(Bild: Storage-Insider)

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

  • Aktuelle Trends in der Künstlichen Intelligenz
  • High-Performance Computing – Explosion der Innovationen
  • Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

E-Book „Storage für HPC & KI“ kostenlos downloaden

(ID:50842789)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Data-Storage und -Management

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte