Anzeige
Anzeige
Anzeige
Anzeige
Beitrag drucken

Sicherheit autonomer Systeme

Roboter vor Manipulation schützen

Autonome Roboter bieten Cyberkriminellen neue Angriffsflächen. Verschaffen sie sich Zugriff, könnten sie etwa Parameter minimal ändern, was sich negativ auf die Produktqualität auswirkt. Die Plattform Lernende Systeme beschreibt in einem Whitepaper, wie sich das verhindern lässt.

Allgemeine Maßnahmen zum Schutz von KI-Systemen gegen Missbrauch (Bild: acatech - Dt. Akademie der Technikwissenschaften)

Allgemeine Maßnahmen zum Schutz von KI-Systemen gegen Missbrauch (Bild: acatech – Dt. Akademie der Technikwissenschaften)

Ob zur Inspektion von Ölplattformen, zur Überwachung von Industrieanlagen oder zur Dokumentation auf dem Bau – autonome, mobile Roboter kommen bereits vielerorts zum Einsatz. Nicht zuletzt die Fortschritte auf dem Gebiet des maschinellen Lernens und dabei insbesondere beim maschinellen Sehen haben diese Entwicklung in der Robotik ermöglicht. Sie können etwa Industrieanlagen oder Baustellen vermessen, Messstände ablesen und die Informationen zur weiteren Auswertung zur Verfügung stellen. Autonome Systeme bieten aber auch Kriminellen eine Angriffsfläche. Ein System kann entgegen dessen eigentlichen Zweck genutzt werden und so etwa körperliche und psychische Unversehrtheit von Menschen, gefährden oder immaterielle Werte verletzen und der Umwelt schaden. So können Roboter als Waffe oder für Sabotage- oder Spionageakte zweckentfremdet werden. Doch die Automaten können gegen solch missbräuchliche Nutzung gewappnet werden. In ihrem Whitepaper ‚KI-Systeme schützen, Missbrauch verhindern‘ geben Expertinnen und Experten der Plattform Lernende Systeme Empfehlungen. Gerade bei autonomen Systemen können beispielsweise die frühzeitige Erkennung von Anomalien sowie die Einschränkung bestimmter Funktionalitäten des Systems besonders wichtig sein.

Anomalien erkennen

Diese Anomalien können mithilfe künstlicher Intelligenz ausfindig gemacht werden. Es handelt sich um Abweichungen vom Umgebungsmodell beim autonomen Fahren oder Abweichungen vom geplanten Verlauf eines Einsatzes. Handlungen ähnlicher KI-Systeme können dazu beispielsweise in einer Cloudumgebung gesammelt werden. Auf diese Weise könnte abgeglichen werden, ob diese Handlungen bereits in ähnlichen Situationen vorkamen. Verdächtige oder ungewöhnliche Anfragen und Handlungen könnten so ermittelt und geprüft werden – etwa durch Simulationen, die erwartete Ergebnisse, wie System- oder Umweltveränderungen, analysieren. Die gesammelten Daten können wiederum in Lernprozesse überführt werden, um die Anomalieerkennung weiter zu optimieren.

Funktionen einschränken

Die Funktionalitäten und Fähigkeiten von autonomen Robotern können für bestimmte Orte, Zeitfenster, Situationen und Umgebungen deaktiviert bzw. der Grad der Autonomie reduziert werden. Beispiele dafür sind das Geofencing und -targeting. Dabei werden anhand geographischer Koordinaten Funktionen auf einem bestimmten Gebiet beschränkt. Die Fähigkeiten von KI-basierten, mobilen Robotern können auch gekoppelt an eine Umgebungsanalyse auf Basis der Sensoren des Roboters eingeschränkt werden. Das heißt, dass bestimmte Fähigkeiten nur dann freigegeben sind, wenn Sensoren spezifische Merkmale eines Ortes oder einer Umgebung erkennen. Solche Umgebungs- und Ortsanalysen stellen eine Alternative oder Ergänzung dar, da Verfahren wie Geofencing und -targeting technisch umgangen werden können. Die Grundlage dafür kann der Abgleich von Informationen aus unterschiedlichen Sensoren eines mobilen KI-Systems bilden.

(Bild: ©Andrey Armyagov/stock.adobe.com)

(Bild: ©Andrey Armyagov/stock.adobe.com)

Zwei Szenarien

Szenario 1 – Anomalie-Erkennung und Funktionalitätseinschränkung bei einem autonomen Bagger: Auf einer Baustelle soll ein autonomer Bagger eingesetzt werden, der selbstständig eine festgelegte Aufgabe abarbeitet. Terroristischen Cyberkriminellen gelingt es, über eine Sicherheitslücke Zugriff auf das System des Baggers zu erhalten und sie versuchen diesen auf die nahe Autobahn zu lenken. Bewegt sich der Bagger auf das Ende der abgegrenzten Baustelle zu, wird ein Überschreiten der Begrenzung durch ein zertifiziertes vom Hauptsystem abgekapseltes System zur Anomalie- und Umgebungserkennung verhindert. Das System deaktiviert den Bagger und sendet es eine Anfrage an die Zentrale zur Überprüfung sowie gegebenenfalls zur manuellen Kontrollübernahme via Teleoperation.

Szenario 2 – Anomalie-Erkennung und Bewegungskorrektur bei Roboterarmen in Industrieanlagen: Cyberkriminelle werden damit beauftragt einem Unternehmen ökonomischen Schaden zuzufügen. Sie nutzen eine Sicherheitslücke und übernehmen einen oder mehrere Roboterarme in einer Produktionsstraße für einen Sabotageakt. Ihr Ziel ist es, die Routinen der Arme minimal abzuändern, so dass die Schäden an den Produkten nicht sofort sichtbar sind. Die vorangegangenen Routinen des Roboters wurden jedoch in eine abgesicherte Datenbank überführt, um damit die Anomalie-Erkennung zu trainieren. Selbst minimale Abweichungen werden in der Folge erkannt und die Werksleitung benachrichtigt. Ein vom Hauptsystem abgekapselter und zertifizierter Regelsatz wird zugleich automatisch aktiviert, der Roboterarm wird umgehend wieder in die ‚gewohnte‘ und gelernte Routine überführt.

Schutz mitdenken

Robotikanwendungen werden in den nächsten Jahren in viele Branchen und Bereichen der Gesellschaft vermehrt eingesetzt werden. Neben technischen Fortschritten ist der Grund hierfür auch, dass Robotik in den vergangenen Jahren immer kostengünstiger geworden ist, wie etwa der diesjährige Standford AI Index betont. Parallel zur Verbreitung von Robotik sollte auch der Schutz vor Missbrauch mitbedacht werden. So können bei der (Weiter-)Entwicklung solcher Systeme mögliche Missbrauchsziele und Gegenmaßnahmen abgeleitet werden, die als Prävention implementiert oder im Ernstfall umgesetzt werden können. Zudem könnte die Forschung zum Schutz vor Missbrauch ausgebaut werden. Ziel sollte es sein, das Vertrauen in den Einsatz autonomer, mobiler Robotik zu stärken, um die wirtschaftlichen und gesellschaftlichen Potenziale freizusetzen.


Das könnte Sie auch interessieren:

Viele ERP-Lösungen wurden einst von Spezialisten entwickelt und danach nur noch angepasst, erweitert und mit Updates versorgt. Doch steigende Digitalisierungsanforderungen, schnellere Produkteinführungen sowie der Fachkräftemangel schrauben die Anforderungen in die Höhe. Könnte Low-Code-Softwareentwicklung die Lösung sein?‣ weiterlesen

Mit einem Anstieg von 1,6 Punkte im Januar liegt das IAB-Arbeitsmarktbarometer bei 102,9 Punkten und damit über der neutralen Marke von 100. Für die Arbeitsmarktforscher deutet dies auf positive Entwicklungen auf dem Arbeitsmarkt hin.‣ weiterlesen

Mit ProKI, einem Demonstrations- und Transfernetzwerk für künstliche Intelligenz (KI) in der Produktion, soll die Anwendung von KI bei kleinen und mittleren Unternehmen (KMU) weiter vorangetrieben werden.‣ weiterlesen

Wolfgang Boos hat zum Jahreswechsel die Geschäftsführung des FIR an der RWTH Aachen übernommen. Er tritt die Nachfolge von Volker Stich an.‣ weiterlesen

Mit den Produkten der Marke Smartblick will F&M Werkzeug und Maschinenbau gerade kleineren Unternehmen ermöglichen, Fertigungsprozesse anhand von Maschinendaten zu analysieren und zu optimieren. Jetzt hat die Firma ein Modul vorgestellt, das mit künstlicher Intelligenz 'on Edge' prädiktive Qualitätsanalysen erstellt, also Predictive Quality ermöglicht.‣ weiterlesen

Die GSG Genii Software Gruppe hat die Übernahme der Camos Software und Beratung GmbH bekanntgegeben, einem Software-Spezialisten im Bereich Configure Price Quote (CPQ).‣ weiterlesen

Lichttechnische Messungen gehören bei der Produktion von Displays zum Standard. Während der Entwicklung müssen jedoch auch sehr unterschiedliche Messungen, meist detaillierter als in der Serienfertigung, durchgeführt werden. Das Zusammenspiel von Displayansteuerung, Messequipment und Auswertung der Messwerte ist dabei oft zeitaufwendig und fehlerbehaftet. Eine voll- oder teilautomatisierte Messung kann die Arbeit vereinfachen.‣ weiterlesen

Mit einem Mix aus Liefer- und Projektgeschäft wappnet sich die Firma Unterfurtner aus Österreich gegen Marktschwankungen. Dabei verursachten die unterschiedlichen Prozesse der Geschäftsbereiche früher viel Aufwand, den das alte ERP-System kaum abfederte. Der Rollout von AMS.ERP änderte das, denn die Software ist auf solche Anforderungen zugeschnitten.‣ weiterlesen

ERP-Integrationen sind herausfordernde Projekte. Oft vergrößern überbordende Funktionswünsche das Risiko des Scheiterns. Eine Alternative ist die Ausarbeitung einer langfristigen ERP-Strategie samt Roadmap.‣ weiterlesen

Julia C. Arlinghaus, Nicole Dreyer-Langlet, Katharina Hölzle, Daniel Hug, Dieter Meuser und Björn Sautter verstärken den Forschungsbeirat Industrie 4.0. Das von Acatech koordinierte Gremium berät strategisch und unabhängig, insbesondere das Bundesministerium für Bildung und Forschung (BMBF).‣ weiterlesen

Softwareanbieter Sage stellt neue Werkzeuge bereit, die eine Brücke zwischen der eigenen Systemumgebung und der Azure-Cloud von Microsoft bilden sollen.‣ weiterlesen