Sichere Lösung oder Poisoning-Falle?
Verteiltes maschinelles Lernen im Einsatz
KI-Technologien wie Deep Learning haben zuletzt große Fortschritte erzielt. Doch sind nicht alle Daten für das Training der Algorithmen geeignet, etwa aus Datenschutzgründen. Verteiltes Maschinelles Lernen – oder Federated Learning – soll dieses Problem adressieren, bietet aber auch neue Angriffsflächen.
Deep Learning bringt eine Reihe neuer funktionaler, aber auch datenschutzrechtlicher und sicherheitstechnischer Herausforderungen mit sich. Für das Training von Deep Neural Networks (DNNs) werden immer größere und diverse, teils sensible, Datenmengen benötigt. In der Praxis gibt es jedoch Daten, die nicht geteilt werden können. So unterliegen etwa Patientendaten dem Datenschutz, Informationen über die Haltbarkeit von Bauteilen dürfen Wettbewerbern nicht in die Hände fallen und frei zugängliche Daten über Sicherheitsvorfälle könnten den Ruf eines Unternehmens schädigen. Verteiltes maschinelles Lernen soll das Modelltraining dezentralisieren. In einer aktuellen Publikation gibt die Plattform Lernende Systeme einen knappen Überblick über die Ansätze dieser Methode. Ein Beispiel ist etwa das Federated Learning, bei dem verschiedene Parteien mit privaten Datensätzen gemeinsam ein DNN-Modell zu trainieren, ohne dass sie ihre Datensätze teilen müssen. Während beim klassischen, zentralisierten Deep Learning alle Daten an einem einzigen Ort gesammelt werden müssen, um anschließend ein DNN-Modell zu trainieren, wird beim Federated Learning das Training an die verschiedenen Teilnehmer ausgelagert. Das Training ist in mehrere Runden aufgeteilt. In jeder Runde lädt zuerst jeder Teilnehmer das aktuelle gemeinsame DNN-Model von einem sogenannten koordinierenden Aggregator herunter (Schritt 1 in Abbildung 1), trainiert dieses dann lokal auf dem eignen privaten Datensatz (Schritt 2) und sendet nur die Trainingsergebnisse (die sogenannten Parameter des DNN-Modells) an den koordinierenden Server (Schritt 3). Dieser Server aggregiert dann die Parameter der empfangenen DNN-Modelle (Schritt 4) und übermittelt diese in der nächsten Runde zurück an alle Teilnehmer. Diese verwenden dann die empfangenen Parameter als Ausgangspunkt für weitere Trainingsrunden. Die Trainingsdaten verlassen in diesem Schema nie die Rechnerplattform des Datenbesitzers, was den Datenschutz (durch Datenminimierung) verbessert. Außerdem wird die Rechenlast auf dem koordinierenden Server reduziert, da das Training nun auf den Rechnern der einzelnen Teilnehmer erfolgt. Ein Anwendungsbeispiel sind die Wortvorschläge für Smartphone-Tastaturen: Durch Federated Learning können Smartphone-Keyboards Wortvorschläge basierend auf den Texten anderer Nutzer verbessern, indem die Geräte lokal trainieren und nur die Parameter des DNN teilen. Somit müssen die Texte nicht einem externen Server anvertraut werden. Bei der kollaborativen Bedrohungsanalyse ermöglicht Federated Learning eine Risikoanalyse auf Basis von Daten verschiedener europäischer Finanzdienstleister, ohne dass diese ihre Daten teilen müssen. Die neunte Ausgabe von Rockwell Automations „State of Smart Manufacturing“ Report liefert Einblicke in Trends und Herausforderungen für Hersteller. Dazu wurden über 1.500 Fertigungsunternehmen befragt, knapp 100 der befragten Unternehmen kommen aus Deutschland. ‣ weiterlesen
KI in Fertigungsbranche vorn
Sicherheitsrisiken
Neben den positiven Aspekten bietet verteiltes Lernen auch neue Angriffspunkte. Cyberkriminelle könnten etwa darauf abzielen, dass das kollaborativ trainierte Modell nur eine schwache Leistung bei der Zielaufgabe erreicht, oder eine sogenannte Hintertür im DNN-Modell verstecken, die das Modell in bestimmten Situationen zu Fehlverhalten veranlasst. Für derartige als Poisoning-Angriffe bekannte Attacken kennt die Forschung meist zwei Angriffsszenarien. Im ersten Szenario wird angenommen, dass eine Untermenge der Teilnehmer (Clients) den verteilten Lernprozess angreift und für sein lokales Modell manipuliert. Dies wird als Model-Poisoning bezeichnet. In dem anderen Szenario ist sich der jeweilige Teilnehmer nicht bewusst, dass er das System angreift. Diese Art von Angriff wird in der Fachliteratur als Data-Poisoning bezeichnet, wobei der Angreifer nur den Datensatz des jeweiligen Teilnehmers manipuliert. Im Gegensatz zum Model-Poisoning kann bei Data-Poisoning der Teilnehmer selbst ehrlich sein, stattdessen werden nur seine Daten manipuliert. Dies kann etwa durch einen defekten Sensor, der falsche Daten gemessen hat, einen böswilligen Mitarbeiter, der die Datensätze falsch beschriftet oder durch eine Anomalie in dem Beobachtungsszenario geschehen. Zusätzlich zu diesen Einfallstoren gibt es auch weitere Angriffspunkte auf der Seite des Aggregators, also des Servers, wobei Informationen über die Trainingsdaten aus einem trainierten DNN-Modell abgeleitet werden kann. Ein neugieriger Aggregator-Betreiber könnte diese Techniken nutzen, um aus den empfangenen, lokal trainierten Modellen Informationen über die Trainingsdaten eines Teilnehmers zu extrahieren.
Robustes verteiltes Lernen
Die Herausforderung bei der Abwehr dieser Angriffe besteht darin, dass die Gegenmaßnahmen die Leistung des Deep Learning-basierten Systems nicht beeinträchtigen sollten. So sollte etwa ein Verfahren, das vor Poisoning-Angriffen schützen soll, nicht fälschlicherweise reguläre Modelle ausschließen. Aktuelle Forschungsansätze fokussieren sich auf die Frage, wie manipulierte Modelle von unmanipulierten Modellen unterschieden werden können. Dies ist besonders anspruchsvoll, wenn sich die Daten der einzelnen Teilnehmer signifikant unterscheiden, also nicht unabhängig und identisch verteilt sind. Die Forschung beschäftigt sich gerade mit der Frage, wie beurteilt werden kann, ob sich die Trainingsergebnisse eines Teilnehmers von anderen Teilnehmern unterscheiden, weil auch unterschiedliche Trainingsdaten genutzt wurden, oder weil der Teilnehmer versucht, das trainierte Model zu manipulieren. Eine andere Forschungsrichtung befasst sich mit dem Schutz der Modelle gegen einen neugierigen Aggregator-Betreiber. Eine Schutzmaßnahme gegen solche Analysen ist der sogenannte Differential Privacy-Ansatz, also das Hinzufügen von Rauschen zu den Parametern der Modelle. Auf diese Weise werden die Modellparameter verschleiert und Angreifer haben es schwerer, Informationen abzuleiten. Allerdings kann dieses Rauschen die Leistung des DNN-Modells und die Genauigkeit der Vorhersagen verringern. Andere Ansätze, wie etwa Kryptographie, verhindern, dass der Aggregator die lokal trainierten Modelle analysiert und erlauben nur deren Aggregation. Allerdings sind rein kryptografische Ansätze noch nicht ausreichend skalierbar. DNN-Modelle für komplexe Aufgaben wie DALL-E 2 haben mehr als 2 Mrd. Parameter, GPT3, einer Vorgängerversion des für ChatGPT verwendeten DNNs, hat mehr als 150 Mrd. Parameter.. Daher wird an den algorithmischen Verbesserungen sowie hardware-basierten Lösungen für die KI-Sicherheit und Privatheit aktuell aktiv geforscht. Ein weiterer Forschungszweig beschäftigt sich mit der Integration verschiedener Verteidigungen (auf der Teilnehmer- und Serverseite). Dies erzeugt jedoch ein Dilemma: Einerseits hindern die Ansätze den Aggregator daran, die einzelnen Modelle zu analysieren. Andererseits muss der Aggregator die Modelle aber auf Poisoning-Angriffe untersuchen können. Der Thin[gk]athon, veranstaltet vom Smart Systems Hub, vereint kollaborative Intelligenz und Industrie-Expertise, um in einem dreitägigen Hackathon innovative Lösungsansätze für komplexe Fragestellungen zu generieren. ‣ weiterlesen
Innovationstreiber Thin[gk]athon: Kollaborative Intelligenz trifft auf Industrie-Expertise
Wie geht es weiter?
Mit dem zunehmenden Einsatz von KI-basierten Systemen steigt auch der potentielle Schaden, den manipulierte KI-Modelle anrichten könnten. Eine Herausforderung im Vergleich zu herkömmlicher (unsicherer) Software ist, dass die Manipulation bei DNNs noch verdeckter stattfinden kann. Gleichzeitig haben KI-Entscheidungen eine hohe Reputation und werden oft als neutral und unvoreingenommen angesehen. Die DNNs spiegeln jedoch oft nur die Daten wider, die für ihr Training verwendet wurden – und damit auch menschliches Verhalten, Gewohnheiten und Vorurteile. Dies zeigt, dass gesellschaftlichen Faktoren bei der Erstellung von DNNs mehr Aufmerksamkeit erfordern. Auch die Auswirkungen von KI-Systemen auf die Gesellschaft müssen eingehender untersucht werden. Während die oben genannten Anwendungsbeispiele als kritische Anwendungen zu erkennen sind, welche umfassend analysiert und überprüft werden müssen, können Folgen anderer KI-Anwendungen wie die Empfehlungsalgorithmen von Facebook, Twitter und Google leicht übersehen werden.
