Mobile-Menu

Edge-KI im IoT Künstliche Intelligenz schrumpft auf 4 Kilobyte

Von Berk Kutsal 2 min Lesedauer

Anbieter zum Thema

Technische Universität Graz
Fsas Technologies GmbH
FAST LTA GmbH

Forscher der TU Graz, Pro2Future und Uni St. Gallen haben gezeigt, wie KI-Modelle selbst auf kleinsten Chips laufen können – lokal, effizient und ohne Cloud.

Mit einigen Tricks laufen KI-Modelle auch auf ressourcenschwachen Geräten. (Bild: Lunghammer | TU Graz)
Mit einigen Tricks laufen KI-Modelle auch auf ressourcenschwachen Geräten.
(Bild: Lunghammer | TU Graz)

Rechenhungrige Algorithmen gelten als unvereinbar mit den engen Grenzen von IoT-Geräten. Doch ein Team aus Österreich und der Schweiz hat im Projekt E-MINDS Wege gefunden, Künstliche Intelligenz direkt auf Mikro-Controllern mit nur 4 Kilobyte Speicher zum Laufen zu bringen. Ziel war es, lokale Intelligenz in Umgebungen zu bringen, in denen klassische Cloud-KI an Energiebedarf, Latenz oder Datenschutz scheitert – etwa in der industriellen Positionsbestimmung via Ultra-Wideband.

Die Forscher nutzten dafür eine Kombination aus Modellverkleinerung, Modularisierung und selektiver Ausführung. Statt ein universelles Modell zu laden, analysiert ein kleines Orchestrierungsmodell auf dem Gerät zunächst die Art der Störung – etwa durch Metallwände, Menschen oder Regale – und lädt innerhalb von rund 100 Millisekunden das passende Gegenmodell vom Server. So können selbst Mini-Chips auf Störeinflüsse reagieren, ohne externe Rechenleistung in Echtzeit zu benötigen.

Stutzen, falten, vereinfachen

Die nötige Verkleinerung der Modelle gelang durch klassische Methoden des Machine-Learning-Optimierungsbaukastens: Quantisierung, Pruning, Architekturmodifikationen. Bei der Quantisierung wurden Gleitkommazahlen durch Integer ersetzt, bei der Faltung mathematische Strukturen so verändert, dass weniger Speicher gebraucht wird. Pruning beschränkte Modelle auf ihre wesentlichen Teile. Das Ergebnis: Energieverbrauch und Speicherbedarf sanken deutlich, bei laut Projektleitung „akzeptablem“ Genauigkeitsverlust.

Ein weiterer Ansatz waren sogenannte Subspace-Configurable Networks (SCNs). Diese Modelle reagieren flexibel auf verschiedene Input-Varianten, ohne für jede Konstellation ein eigenes Modell zu benötigen. SCNs kamen bei Aufgaben wie der Objekterkennung und Bildklassifizierung auf ressourcenschwachen Systemen zum Einsatz – mit dem Ergebnis, dass Berechnungen laut TU Graz bis zu 7,8-mal schneller als über externe Cloud-Dienste liefen.

Lokale Intelligenz, viele Optionen

Im Projektfokus stand die präzise Lokalisierung mobiler Einheiten wie Drohnen, Roboter oder Shuttles – auch bei Störeinflüssen. Doch die Forscher verweisen auf weitere mögliche Einsatzbereiche: etwa bei schlüssellosen Autosystemen zur Signalvalidierung oder zur Optimierung der Batterielaufzeit von Smarthome-Fernbedienungen. Auch der Einsatz in Bibliotheken zur Buchverfolgung wurde genannt.

„Mit neuem Know-how und neuen Methoden haben wir im Projekt E-MINDS ein Fundament für zukünftige Produkte und Anwendungen gelegt“, wird Projektleiter Michael Krisper zitiert. Die TU Graz lieferte wesentliche Grundlagen zur Modelloptimierung, Pro2Future kümmerte sich um die Hardwareintegration, die Universität St. Gallen brachte ihre Expertise im Bereich Lokalisierung ein.

(ID:50485624)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Data-Storage und -Management

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte