Anzeige
Anzeige
Anzeige
Beitrag drucken

Lernalgorithmus E-prop

Energieeffizient lernen

Ein Forschungsteam an der Technischen Universität Graz hat die KI-Lernmethode E-prop entwickelt, mit der Hardware-Implementierungen von künstlicher Intelligenz energieeffizienter gestaltet werden können.

(Bild: TU Graz)

Der hohe Energieverbrauch beim Lernen von künstlichen neuronalen Netzwerken ist eine große Hürde für den breiten Einsatz künstlicher Intelligenz (KI), vor allem bei mobilen Anwendungen. Ein Ansatz, um sich diesem Problem zu nähern ist, von Erkenntnissen über das menschliche Gehirn zu lernen: Dieses verfügt über immense Rechenleistung, braucht mit 20 Watt aber nur ein Millionstel von dessen Energie. Verantwortlich dafür ist unter anderem die effiziente Informationsweitergabe zwischen den Neuronen im Gehirn: Diese senden dazu kurze, elektrische Impulse (Spikes) an andere Neuronen – um Energie zu sparen aber nur so oft, wie unbedingt notwendig. Diese Funktionsweise hat sich ein Team der TU Graz um die Informatiker Wolfgang Maass und Robert Legenstein bei der Entwicklung des maschinellen Lernalgorithmus E-prop (kurz für e-propagation) zu eigen gemacht. Die Arbeitsgruppe des Instituts für Grundlagen der Informationsverarbeitung, nutzen in ihrem Modell Spikes zur Kommunikation zwischen Neuronen in einem künstlichen neuronalen Netz. Die Spikes werden nur dann aktiv, wenn sie für die Informationsverarbeitung im Netzwerk gebraucht werden. Das Lernen ist für solche wenig aktiven Netzwerke eine besondere Herausforderung, da es längere Beobachtungen braucht um zu ermitteln, welche Neuronenverbindungen die Netzwerkleistung verbessern.

Dezentrale Methode

Bisherige Methoden erzielten zu geringe Lernerfolge oder erforderten enormen Speicherplatz. E-prop löst nun dieses Problem mittels einer vom Gehirn abgeschauten dezentralen Methode, bei der jedes Neuron in einer sogenannten E-trace (eligibility trace; dt. Ereignisspur) dokumentiert, wann seine Verbindungen benutzt wurden. Die Methode ist ähnlich leistungsfähig wie bekannte andere Lernmethoden. Bei vielen der derzeit eingesetzten Maschine-Learning-Techniken werden alle Netzwerkaktivitäten zentral und offline gespeichert, um alle paar Schritte nachvollziehen zu können, wie die Verbindungen während der Berechnungen benutzt wurden. Dies erfordert aber einen ständigen Datentransfer zwischen dem Speicher und den Prozessoren — eine der Hauptursachen für den zu großen Energieverbrauch gegenwärtiger KI-Implementationen. E-prop hingegen funktioniert vollkommen online und erfordert auch im realen Betrieb keinen separaten Speicher.

Nicht über die Cloud gehen

Maass und Legenstein hoffen, dass der Algorithmus die Entwicklung einer neuen Generation von mobilen lernfähigen Rechensystemen vorantreibt, die nicht mehr programmiert werden müssen, sondern nach dem Vorbild des menschlichen Gehirns lernen und sich dadurch an laufend neue Anforderungen anpassen. Ziel ist es, diese Rechensysteme nicht mehr energieintensiv ausschließlich über eine Cloud lernen zu lassen, sondern den größeren Teil der Lernfähigkeit effizient in mobile Hardware-Komponenten einzubauen und dadurch Energie zu sparen. Erste Schritte, E-prop in die Anwendung zu bringen, wurden bereits gemacht: So arbeitet das Team der TU Graz gemeinsam mit der Advanced Processor Technologies Research Group (APT) der Universität Manchester im Human Brain Projekt daran E-prop in das dort entwickelte neuromorphe Spinnaker-System einzubauen. Gleichzeitig arbeitet die TU Graz gemeinsam mit Intel daran, den Algorithmus in die nächsten Version von Intels neuromorphen Chip Loihi zu integrieren.


Das könnte Sie auch interessieren:

Zum 30. Juni nächsten Jahres wird Finanzvorstand Harald Fuchs das Softwareunternehmen PSI verlassen.‣ weiterlesen

Der Technologieanbieter Abbyy hat kürzlich NeoML vorgestellt, eine Open-Source-Bibliothek für die Erstellung, das Trainieren und die Bereitstellung von Machine-Learning-Modellen.‣ weiterlesen

Gerade in einer wirtschaftlichen Flaute sollten Unternehmen ihre Position sichern, stärken, neue Angebote entwickeln und bestehende verbessern. Eine gute Datenbasis sorgt dafür, das die Geschäftsprozesse reibungsarm ablaufen und Manager gute Entscheidungen treffen. Doch wie misst man die Güte der Systemdaten?‣ weiterlesen

Im Rahmen einer Partnerschaft wollen Kuka und T-Systems Lösungen für mittelständische Fertigungsunternehmen zur Verfügung stellen.‣ weiterlesen

Schichtübergaben sind je nach Arbeitszeitmodell unvermeidbar und finden meist sogar mehrmals am Tag statt.‣ weiterlesen

Die Werkerführung Schlauer Klaus ist jetzt mit einem Laser erhältlich, der u.a. Bohrlöcher und Montagepunkte auf dem Werkstück anzeigt. Auch kompliziertere Handgriffe sollen in der Montage so schnell und fehlerfrei unterstützt werden.‣ weiterlesen

Rockwell Automation und PTC haben angekündigt, die gemeinsame Anwendung FactoryTalk InnovationSuite powered by PTC erweitert zu haben.‣ weiterlesen

RB Solutions nutzt schon seit Jahren die ERP-Lösung AP-plus zur Planung und Steuerung der Geschäftsprozesse. Um das System in Zeiten der Corona-Krise zu aktualisieren, verlagerten der Maschinen- und Anlagenbauer und sein IT-Dienstleister N+P Informationssysteme die Zusammenarbeit in die virtuelle Welt - mit Erfolg.‣ weiterlesen

Die Mait-Gruppe übernimmt das baden-württembergische IT-Systemhaus IT-On.NET Süd. Mit dem Erwerb will die Unternehmensgruppe ihr IT-Geschäftsfeld ausbauen.‣ weiterlesen

Adlink Technology bringt die Roscube-X-Serie in Position. Die Echtzeit-ROS-2-Robotik-Steuerung wird durch das Modul Nvidia Jetson AGX Xavier angetrieben. Darin sind eine Volta-GPU von Nvidia verbaut, zwei Deep Learning-Beschleuniger und verschiedene Schnittstellen.‣ weiterlesen

Die Simulation von roboterbasierten Anlagen und Prozessen hilft nicht nur in der Planungsphase. Auch bei der Inbetriebnahme lassen sich böse Überraschungen vermeiden. Daher bietet Roboterhersteller Yaskawa für seine Motoman-Systeme leistungsfähige Simulationstools und Offlineprogrammierung.‣ weiterlesen

Anzeige
Anzeige
Anzeige