‚Robustes und Sicheres Maschinelles Lernen‘

Cyberagentur lässt sicheres Maschinelles Lernen erforschen

Die Agentur für Innovation in der Cybersicherheit (Cyberagentur) hat am 6. März eine Ausschreibung zum ’Robusten und Sicheren Maschinellen Lernen‘ gestartet. Ziel ist die Steigerung der Verlässlichkeit und Manipulationssicherheit verschiedener KI-Ansätze.

Bild: Andreas Stedtler/Cyberagentur

Mit ’Robustem und Sicherem Maschinellen Lernen’ (RSML) schreibt die Cyberagentur ihr bisher größtes Forschungsprojekt zur Sicherheit künstlicher Intelligenz (KI) aus.

Das Maschinelle Lernen (ML) in verschiedenen Ausprägungen angesichts stetig steigender Performance und zunehmender Vielseitigkeit zu einem maßgeblichen Analysewerkzeug für immer größere und komplexere Datenmodelle entwickelt. Als Beispiel nennt die Cyberagentur die Bildererkennung beim autonomen Fahren. Schon unscheinbare Änderungen an Verkehrsschildern könnten zu einer Fehlfunktion des Fahralgorithmus führen, so die Wissenschaftler. Die Erforschung beweisbarer Sicherheit und deren Grenzen sowie inhärente Robustheit gegenüber solchen Angriffen stehe dabei noch am Anfang. Größte Schwachstellen des maschinellen Lernens seien die große Abhängigkeit von Trainingsdaten und die Intransparenz der trainierten Modelle. Dadurch führten unerwartete Eingaben mitunter zu unvorhergesehenen und schwer nachvollziehbaren – und im Einzelfall möglicherweise katastrophalen – Ergebnissen. Ein weiteres Beispiel finde sich in der aktuellen Diskussion um KI-Chatbots, so die Cyberagentur-Verantwortlichen. Mittels manipulierter Befehle (’Prompt Injection’) können Sprachmodelle nachweislich zu unbeabsichtigten und potenziell folgenschweren Aussagen verleitet werden.

Innere und äußere Sicherheit

Vor diesem Hintergrund wurde das neue Forschungsvorhaben entwickelt. „Ziel ist die Erforschung und Entwicklung neuer, potenziell bahnbrechender Ansätze zur Steigerung der Robustheit und Sicherheit verschiedener KI-Ansätze in den Domänen der inneren und äußeren Sicherheit“, erklärt Dr. Daniel Gille, Projektleiter und Leiter ’Sicherheit durch KI und Sicherheit für KI’ in der Cyberagentur, den Ansatz der Ausschreibung des Forschungsprojektes.

Fünf Phasen

Für den fünf Phasen umfassenden Projektwettbewerb wurden fünf Forschungsschwerpunkte herausgestellt: Datenabsicherung, Modellverifikation, Systemeinbettung, Hybridmodelle aus neuronalen und symbolischen Komponenten sowie Ende-zu-Ende-Verifikation. „Wir möchten Antworten auf einige der ungelösten Fragen im oft vernachlässigten Themenbereich Sicherheit für KI finden“, sagt Gille. „Diese sind beispielsweise: Wie und in welchem Umfang können Sicherheits- und Robustheitseigenschaften für spezifische Anwendungsdomänen und Systeme nachgewiesen werden? Wo liegen die Grenzen einer Nachweisbarkeit und wie lassen sich Systeme mit wünschenswerten Sicherheitseigenschaften als Prototyp realisieren?“

Das Maximum an Sicherheit anstreben

„Gerade im Kontext der inneren und äußeren Sicherheit sowie bei kritischen Infrastrukturen ist für uns die Nachweisbarkeit von Sicherheit und Robustheit von neuronalen KI-Systemen gegenüber gezielten Angriffen und manipulativen Inputs von entscheidender Bedeutung“, sagt Projektleiter Gille. Hier möchte die Cyberagentur angesichts der geopolitischen Situation mit staatlichen und nichtstaatlichen Akteuren, die technisch versiert und am neuesten wissenschaftlichen Stand orientiert sind, wirksame Forschung stimulieren, heißt es in der Pressemeldung. Die im Fokus stehenden Systeme und Infrastrukturen werden zukünftig direkte Auswirkungen auf viele Menschen haben. Ein Maximum an Sicherheit beim Einsatz von Maschinellem Lernen ist in diesen Domänen daher unabdingbar. „Das kann momentan nicht gewährleistet werden“, erläutert Dr. Gille noch einmal den Hintergrund der Ausschreibung. „Die geplante Beauftragung soll dabei helfen, die wissenschaftlichen Grundlagen für dieses anzustrebende Maximum an Cybersicherheit von KI-Systemen zu schaffen und auszubauen.“

In den fünf Jahren Projektlaufzeit soll sowohl Grundlagenforschung stattfinden als auch Prototypen entstehen. Die Cyberagentur plant die parallele Beauftragung mehrerer Bieter bzw. Bietergemeinschaften. Im Rahmen des geplanten ’Wettbewerbs der Ideen’ sollen die Ergebnisse phasenweise evaluiert und das Teilnehmerfeld schrittweise verkleinert werden. Der überzeugendste Ansatz verbleibt bis zum Abschluss der letzten Phase im Wettbewerb. Dort besteht dann die Möglichkeit, entwickelte Artefakte im Rahmen einer realistischen Testumgebung zu erproben und evaluieren. Angebote abgeben können alle akademischen und außeruniversitären Forschungseinrichtungen, Industrieunternehmen und Startups.

Das könnte Sie auch interessieren:

Wechsel an der Fraunhofer-Spitze
Holger Hanselka wird Präsident der Fraunhofer-Gesellschaft

Prof. Dr.-Ing. Holger Hanselka, Präsident des Karlsruher Instituts für Technologie (KIT) wird der 11. Präsident der Fraunhofer-Gesellschaft und löst Prof. Dr.-Ing. Reimund Neugebauer nach fast elf Jahren ab.‣ weiterlesen

Neuer Vorstand
Wechsel an der Spitze bei DMG Mori

Christian Thönes, Vorstandsvorsitzender bei DMG Mori, hat am Donnerstag sein Amt niedergelegt. Sein Vertrag wurde im Rahmen einer Aufsichtsratssitzung einvernehmlich beendet. Alfred Geißler wurde vom Aufsichtsrat zum Nachfolger bestellt.‣ weiterlesen

40 Jahre Microsoft in Deutschland
Microsoft feiert Geburtstag und eröffnet Experience Center

Microsoft feiert 40. Geburtstag in Deutschland und eröffnet ein europäisches Experience Center in München. Es ist eines von vier Experience Centern weltweit.‣ weiterlesen

Neues Whitepaper der Plattform Lernende Systeme
Wo bleiben die europäischen KI-Sprachmodelle?

Expertinnen und Experten der Plattform Lernende Systeme beleuchten in einem neuen Whitepaper, wie es um die Entwicklung europäischer bzw. deutscher KI-Sprachmodelle bestellt ist.‣ weiterlesen

Ifo Geschäftsklimaindex im Mai
Skeptischer Blick auf den Sommer

Nach 93,4 Punkten im Vormonat, fällt der Ifo Geschäftsklimaindex im Mai auf 91,7 Punkte – der erste Rückgang in sechs Montanen. ‣ weiterlesen

Neuer Sonderforschungsbereich am KIT
Schnellere Updates für Cyber-physikalische Systeme

Cyber-physikalische Systeme (CPS), wie etwa Autos oder Produktionsanlagen, stecken voller elektronischer und mechanischer Komponenten, die von Software gesteuert werden. Jedoch ist es eine Herausforderung, die Systemarchitekturen solcher Systeme fortwährend konsistent zu halten. Neue Methoden dafür soll ein Sonderforschungsbereich (SFB) am Karlsruher Institut für Technologie (KIT) entwickeln.‣ weiterlesen

Transport und Logistik
G+D erweitert IoT-Portfolio mit Erwerb von Mecomo

Mit der Akquisition der Pod Group hat G+D bereits 2021 sein Portfolio im IoT-Bereich erweitert. Durch den Erwerb von Mecomo geht das Unternehmen nun einen weiteren Schritt in Richtung IoT-Komplettanbieter im Transport- und Logistikbereich.‣ weiterlesen

17. Produktionstechnisches Kolloquium
PTK diskutiert Herausforderungen für die Industrie

Im September laden Fraunhofer IPK und IWF der TU Berlin zum Produktionstechnischen Kolloquium. Im Fokus der Veranstaltung stehen Digitalisierung und Dekarbonisierung der Industrie. ‣ weiterlesen

Datenanalyse
Qlik übernimmt Talend

Mit der Übernahme von Talend will das Softwareunternehmen Qlik das eigene Portfolio erweitern. Die Leitung des neuen Unternehmens übernimmt Qlik-CEO Mike Capone.

‣ weiterlesen

Webbasiertes Anfragemanagement
Kundenanfragen schneller bearbeiten

Die Grimme-Gruppe produziert individuell konfigurierte Landmaschinen. Was für den Wettbewerb Vorteile bringt, ist allerdings mit großem Aufwand verbunden - so verwaltete Grimme Kundenanfragen lange über ein Excel-Tool. Mit dem Softwareanbieter Slashwhy zusammen wurde dies durch ein webbasiertes Anfragemanagement-Programm abgelöst.‣ weiterlesen

Mit Moryx modulare Fertigungsanlagen steuern
Linie ohne Stau

Die Software Moryx hilft der Fertigungssteuerung, Maschinen schnell auf einen neuen Kurs zu bringen oder sie für den nächsten Auftrag anzupassen. Mit seinen einheitlichen Bedienoberflächen und seiner niedrigen Einstiegshürde ist das Tool von Phoenix Contact insbesondere auf den Einsatz in Fertigungen mit der Losgröße 1 ausgerichtet.‣ weiterlesen