KI-Technologien wie Deep Learning haben zuletzt große Fortschritte erzielt. Doch sind nicht alle Daten für das Training der Algorithmen geeignet, etwa aus Datenschutzgründen. Verteiltes Maschinelles Lernen – oder Federated Learning – soll dieses Problem adressieren, bietet aber auch neue Angriffsflächen.
Funktionsweise des Federated Learning Systems (Bild: Acatech – Dt. Akademie der Technikwissenschaften)
Deep Learning bringt eine Reihe neuer funktionaler, aber auch datenschutzrechtlicher und sicherheitstechnischer Herausforderungen mit sich. Für das Training von Deep Neural Networks (DNNs) werden immer größere und diverse, teils sensible, Datenmengen benötigt. In der Praxis gibt es jedoch Daten, die nicht geteilt werden können. So unterliegen etwa Patientendaten dem Datenschutz, Informationen über die Haltbarkeit von Bauteilen dürfen Wettbewerbern nicht in die Hände fallen und frei zugängliche Daten über Sicherheitsvorfälle könnten den Ruf eines Unternehmens schädigen. Verteiltes maschinelles Lernen soll das Modelltraining dezentralisieren. In einer aktuellen Publikation gibt die Plattform Lernende Systeme einen knappen Überblick über die Ansätze dieser Methode. Ein Beispiel ist etwa das Federated Learning, bei dem verschiedene Parteien mit privaten Datensätzen gemeinsam ein DNN-Modell zu trainieren, ohne dass sie ihre Datensätze teilen müssen. Während beim klassischen, zentralisierten Deep Learning alle Daten an einem einzigen Ort gesammelt werden müssen, um anschließend ein DNN-Modell zu trainieren, wird beim Federated Learning das Training an die verschiedenen Teilnehmer ausgelagert. Das Training ist in mehrere Runden aufgeteilt. In jeder Runde lädt zuerst jeder Teilnehmer das aktuelle gemeinsame DNN-Model von einem sogenannten koordinierenden Aggregator herunter (Schritt 1 in Abbildung 1), trainiert dieses dann lokal auf dem eignen privaten Datensatz (Schritt 2) und sendet nur die Trainingsergebnisse (die sogenannten Parameter des DNN-Modells) an den koordinierenden Server (Schritt 3). Dieser Server aggregiert dann die Parameter der empfangenen DNN-Modelle (Schritt 4) und übermittelt diese in der nächsten Runde zurück an alle Teilnehmer. Diese verwenden dann die empfangenen Parameter als Ausgangspunkt für weitere Trainingsrunden. Die Trainingsdaten verlassen in diesem Schema nie die Rechnerplattform des Datenbesitzers, was den Datenschutz (durch Datenminimierung) verbessert. Außerdem wird die Rechenlast auf dem koordinierenden Server reduziert, da das Training nun auf den Rechnern der einzelnen Teilnehmer erfolgt. Ein Anwendungsbeispiel sind die Wortvorschläge für Smartphone-Tastaturen: Durch Federated Learning können Smartphone-Keyboards Wortvorschläge basierend auf den Texten anderer Nutzer verbessern, indem die Geräte lokal trainieren und nur die Parameter des DNN teilen. Somit müssen die Texte nicht einem externen Server anvertraut werden. Bei der kollaborativen Bedrohungsanalyse ermöglicht Federated Learning eine Risikoanalyse auf Basis von Daten verschiedener europäischer Finanzdienstleister, ohne dass diese ihre Daten teilen müssen.
Sicherheitsrisiken
Neben den positiven Aspekten bietet verteiltes Lernen auch neue Angriffspunkte. Cyberkriminelle könnten etwa darauf abzielen, dass das kollaborativ trainierte Modell nur eine schwache Leistung bei der Zielaufgabe erreicht, oder eine sogenannte Hintertür im DNN-Modell verstecken, die das Modell in bestimmten Situationen zu Fehlverhalten veranlasst. Für derartige als Poisoning-Angriffe bekannte Attacken kennt die Forschung meist zwei Angriffsszenarien. Im ersten Szenario wird angenommen, dass eine Untermenge der Teilnehmer (Clients) den verteilten Lernprozess angreift und für sein lokales Modell manipuliert. Dies wird als Model-Poisoning bezeichnet. In dem anderen Szenario ist sich der jeweilige Teilnehmer nicht bewusst, dass er das System angreift. Diese Art von Angriff wird in der Fachliteratur als Data-Poisoning bezeichnet, wobei der Angreifer nur den Datensatz des jeweiligen Teilnehmers manipuliert. Im Gegensatz zum Model-Poisoning kann bei Data-Poisoning der Teilnehmer selbst ehrlich sein, stattdessen werden nur seine Daten manipuliert. Dies kann etwa durch einen defekten Sensor, der falsche Daten gemessen hat, einen böswilligen Mitarbeiter, der die Datensätze falsch beschriftet oder durch eine Anomalie in dem Beobachtungsszenario geschehen. Zusätzlich zu diesen Einfallstoren gibt es auch weitere Angriffspunkte auf der Seite des Aggregators, also des Servers, wobei Informationen über die Trainingsdaten aus einem trainierten DNN-Modell abgeleitet werden kann. Ein neugieriger Aggregator-Betreiber könnte diese Techniken nutzen, um aus den empfangenen, lokal trainierten Modellen Informationen über die Trainingsdaten eines Teilnehmers zu extrahieren.
Die Herausforderung bei der Abwehr dieser Angriffe besteht darin, dass die Gegenmaßnahmen die Leistung des Deep Learning-basierten Systems nicht beeinträchtigen sollten. So sollte etwa ein Verfahren, das vor Poisoning-Angriffen schützen soll, nicht fälschlicherweise reguläre Modelle ausschließen. Aktuelle Forschungsansätze fokussieren sich auf die Frage, wie manipulierte Modelle von unmanipulierten Modellen unterschieden werden können. Dies ist besonders anspruchsvoll, wenn sich die Daten der einzelnen Teilnehmer signifikant unterscheiden, also nicht unabhängig und identisch verteilt sind. Die Forschung beschäftigt sich gerade mit der Frage, wie beurteilt werden kann, ob sich die Trainingsergebnisse eines Teilnehmers von anderen Teilnehmern unterscheiden, weil auch unterschiedliche Trainingsdaten genutzt wurden, oder weil der Teilnehmer versucht, das trainierte Model zu manipulieren. Eine andere Forschungsrichtung befasst sich mit dem Schutz der Modelle gegen einen neugierigen Aggregator-Betreiber. Eine Schutzmaßnahme gegen solche Analysen ist der sogenannte Differential Privacy-Ansatz, also das Hinzufügen von Rauschen zu den Parametern der Modelle. Auf diese Weise werden die Modellparameter verschleiert und Angreifer haben es schwerer, Informationen abzuleiten. Allerdings kann dieses Rauschen die Leistung des DNN-Modells und die Genauigkeit der Vorhersagen verringern. Andere Ansätze, wie etwa Kryptographie, verhindern, dass der Aggregator die lokal trainierten Modelle analysiert und erlauben nur deren Aggregation. Allerdings sind rein kryptografische Ansätze noch nicht ausreichend skalierbar. DNN-Modelle für komplexe Aufgaben wie DALL-E 2 haben mehr als 2 Mrd. Parameter, GPT3, einer Vorgängerversion des für ChatGPT verwendeten DNNs, hat mehr als 150 Mrd. Parameter.. Daher wird an den algorithmischen Verbesserungen sowie hardware-basierten Lösungen für die KI-Sicherheit und Privatheit aktuell aktiv geforscht. Ein weiterer Forschungszweig beschäftigt sich mit der Integration verschiedener Verteidigungen (auf der Teilnehmer- und Serverseite). Dies erzeugt jedoch ein Dilemma: Einerseits hindern die Ansätze den Aggregator daran, die einzelnen Modelle zu analysieren. Andererseits muss der Aggregator die Modelle aber auf Poisoning-Angriffe untersuchen können.
Ahmad-Reza Sadeghi, ist Professor für Systemsicherheit an der Technischen Universität Darmstadt. (Bild: acatech – Dt. Akademie der Technikwissenschaften)
Wie geht es weiter?
Mit dem zunehmenden Einsatz von KI-basierten Systemen steigt auch der potentielle Schaden, den manipulierte KI-Modelle anrichten könnten. Eine Herausforderung im Vergleich zu herkömmlicher (unsicherer) Software ist, dass die Manipulation bei DNNs noch verdeckter stattfinden kann. Gleichzeitig haben KI-Entscheidungen eine hohe Reputation und werden oft als neutral und unvoreingenommen angesehen. Die DNNs spiegeln jedoch oft nur die Daten wider, die für ihr Training verwendet wurden – und damit auch menschliches Verhalten, Gewohnheiten und Vorurteile. Dies zeigt, dass gesellschaftlichen Faktoren bei der Erstellung von DNNs mehr Aufmerksamkeit erfordern. Auch die Auswirkungen von KI-Systemen auf die Gesellschaft müssen eingehender untersucht werden. Während die oben genannten Anwendungsbeispiele als kritische Anwendungen zu erkennen sind, welche umfassend analysiert und überprüft werden müssen, können Folgen anderer KI-Anwendungen wie die Empfehlungsalgorithmen von Facebook, Twitter und Google leicht übersehen werden.
Autoren:Ahmad-Reza Sadeghi ist Professor für Systemsicherheit der Technischen Universität Darmstadt und Mitglied der Arbeitsgruppe IT-Sicherheit, Privacy, Recht und Ethik der Plattform Lernende Systeme.
Autoren: Ahmad-Reza Sadeghi ist Professor für Systemsicherheit der Technischen Universität Darmstadt und Mitglied der Arbeitsgruppe IT-Sicherheit, Privacy, Recht und Ethik der Plattform Lernende Systeme.
Mittelständische Unternehmen investieren selbst in schwierigen Zeiten in Microsoft-Technologien, weil sie überzeugt sind, dass ihre Mitarbeiterproduktivität steigt und sich ihre Kostenstruktur bessert. Microsoft hat mit dem Microsoft-Partner-Network ein Netzwerk aufgebaut, das ein Forum für den Aufbau von Partnerschaften, Zugang zu Ressourcen und einen Rahmen für Dialoge und Kooperationen bietet. Für unsere Leser gibt die Microsoft-Partnerübersicht in Ausgabe Juli/August der IT&Production Tipps für die Suche nach einer geeigneten Branchen- oder Speziallösung im Bereich des produzierenden Gewerbes.
Auf der Suche nach Innovation, nach neuen Lösungen und der Abgrenzung zum Mitbewerb vernetzen sich zunehmend mehr Unternehmen mit externen Experten und Partnern. SAP hat mit dem SAP-Ecosystem ein Netzwerk aufgebaut, das ein Forum für den Aufbau von Partnerschaften, Zugang zu Ressourcen und einen Rahmen für Dialoge und Kooperationen bietet. In der Maiausgabe der Fachzeitschrift IT&Production erhalten unsere Leser einen aktuellen Überblick zum SAP-Ecosystem im Bereich des produzierenden Gewerbes.
Anbieter & Produkte
Weltweit führende APS-Technologie für alle industriellen Anforderungen
Wachstum durch Kundenorientierung: Das Geheimnis liegt in einem smarten Variantenkonfigurator
Make Lean Leaner
MPDV Mikrolab GmbH – WE CREATE SMART FACTORIES
augmented instructions – digitalisiertes Know how unterstützt die Industrie beim Wissenstransfer
Work-in-Process-Management in S/4HANA
Prime Edge – eine Edge Lösung für die Industrie
IIoT in Stahl Service Centern
ANZEIGE
Whitepaper
Vom 4-Stufen-Modell zum Regelkreis
Smart Factory Elements
Mit Kennzahlen die Produktion im Griff
Vollautomatische Feinplanung
Monitoring IT, OT and IIoT with Paessler PRTG: use cases and dashboards
Videos
Erfolgreiche Asprova APS Einführung bei Strauss Café, zweitgrößter Kaffeehersteller in Polen
Erfolgreiche Asprova APS Einführung bei Kontio, finnischer Hersteller von Blockhäusern
KSB: Digitale Lieferantendokumentation
Erfolgreiche Asprova APS Einführung bei Fogel, Hersteller von gewerblichen Kühl- und Gefrieranlagen für Abfüller kohlensäurehaltiger Getränke
Erfolgreiche Asprova APS Einführung bei Panasonic, Hersteller von Komponenten für Autoelektronik
Ein Unternehmen, das sich mit der Auswahl eines ERP- Systems befasst, muss sich gleichsam mit einem viel- schichtigen Software-Markt und unklaren Interessen- lagen an interne Abwick- lungsprozesse auseinander- setzen. Guter Rat bei der Investitionsentscheidung ist teuer. ERP/CRM Wissen Kompakt unterstützt Sie bei der gezielten Investition in die IT-Infrastruktur.
Immer mehr Anbieter von Maschinen, Automatisierungstechnik und Industriesoftware integrieren künstliche Intelligenz in ihre Produkte. Das ganze Potenzial spielen selbstlernende Systeme aber erst aus, wenn sie passgenau auf ihren Einsatz in Fertigung und Büro zugeschnitten wurden. Über beide Möglichkeiten, als Fertiger die Vorzüge von industrieller KI zu nutzen, geht es im regelmäßig aktualisierten Themenheft Künstliche Intelligenz.
Das Internet of Things verändert Produktwelten und die Vernetzung in der Fertigung gleichermaßen. Entstehende Ökosysteme laden zur einer neuen Form der Zusammenarbeit ein. Die Spezialausgabe IoT Wissen Kompakt informiert über die Technologie, Projektierung und Anbieter für die eigene Applikation, in- und außerhalb der Fabrik.
Um alle Potenziale eines MES umfassend ausnutzen zu können, beleuchten unsere Autoren in der Serie von MES Wissen Kompakt die erfolgskritischen Faktoren, um Fertigungsunternehmen präventiv zu steuern. Darüber hinaus präsentiert MES Wissen Kompakt ein breites Spektrum an Firmenportraits, Produkt- neuheiten und Dienst- leistungen im MES-Umfeld.