Anzeige
Anzeige
Beitrag drucken

Teil 4 der Serie ‚Autonome Systeme‘

Wie nachvollziehbar müssen autonome Systeme agieren?

Noch sind viele technisch-wissenschaftliche und gesellschaftliche Fragen zu autonomen Systemen offen. Einen Beitrag zum Diskurs leistet die Reihe ‚Künstliche Intelligenz und autonome Systeme‘ der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik. Diesmal befragt die Arbeitsgemeinschaft ‚Autonome Systeme‘ Dr. Christine Maul, Vorstandsmitglied der VDI/VDE-GMA, und Professor Klaus Dieter Sommer, Technische Universität Ilmenau; Beiratsmitglied der VDI/VDE-GMA, dazu, wie nachvollziehbar sich ein autonomens System verhalten sollte.

Bild: ©Jacky/stock.adobe.com

Bild: ©Jacky/stock.adobe.com

Was ist unter Nachvollziehbarkeit und Transparenz des Verhaltens eines autonomen Systems zu verstehen?

Prof. Sommer: Nachvollziehbarkeit eines Verhaltens ist für mich, sehr vereinfachend gesprochen, etwas, das ich erklären und möglichst auch interpretieren, auf jeden Fall verstehen kann oder das schlicht meinen Erfahrungen entspricht. Auf autonome oder allgemein intelligente Systeme bezogen, bedeutet dies unter anderem die Fähigkeit zur Beantwortung relevanter Fragen wie:

  • • Warum verhält sich das System jetzt so und nicht anders?
  • • In welchen Fällen oder unter welchen Umständen (Zuständen und Eingangssignalen) kann ich dem Verhalten vertrauen?
  • • Welche Parameter beeinflussen das Verhalten und das resultierende Handeln des Systems am stärksten?
  • • Gibt es eine klare, gegebenenfalls quantifizierende Übersicht, welches Vertrauen ich unter welchen Umständen an das Handeln des Systems haben kann?
  • • Wie könnte ich im Falle eines Fehlverhaltens richtig eingreifen?

Nachvollziehbar für wen im Regelfall?

Dr. Maul: Entsprechend der Rolle der Anwender und der Aufgabe des Systems sollten wir hier Fallunterscheidungen treffen. Ein einfacher Nutzer eines autonomen Systems, der Interesse daran hat, dass eine Aufgabe gelöst wird, ohne dass er – der Nutzer – Zeit und Gedanken daran verschwenden muss, hat vermutlich kein tiefergehendes, bis auf das Niveau der Algorithmen reichendes Interesse an einer Nachvollziehbarkeit des Systemverhaltens. Ich bin mir noch nicht einmal sicher, ob es ihn interessiert, ob das System autonom einen neuen Lösungsweg findet oder nur automatisiert eine vorgegebene Lösung erarbeitet, solang er mit der Qualität der Lösung zufrieden ist. Ein Experte des jeweiligen Aufgabengebietes, der das System z.B. in eine Prozesssteuerung eingliedern muss oder dessen weiteres Anwendungs- oder Entwicklungspotenzial analysiert, möchte sicherlich genauer wissen, wie das autonome System zu einer Antwort kommt, um den Lösungsweg mit seinem eigenen Weg zu vergleichen. Er möchte nachvollziehen, welche Regeln berücksichtigt werden und wie Änderungen den Lösungsweg beeinflussen. Relevante Bereiche, in denen die Nachvollziehbarkeit und Transparenz des intelligenten, lernenden Systems sicher eine größere Rolle spielt, sind unter anderem sicherheitsrelevante Anwendungen, z.B. das bekannte autonome Fahrzeug, Logistiksysteme und auch autonome medizinische Diagnose- und Therapiesysteme.

Gibt es dazu ein passendes Beispiel?

Dr. Maul: Das Beispiel des Virenscanners, das Dr. Attila Bilgic in dieser Interviewreihe bei seiner Antwort auf Frage 1 eingeführt hat, passt hierzu: Ich möchte als simpler Anwender nicht unbedingt verstehen, wie mein Virenscanner im Detail funktioniert. Der Scanner soll im Hintergrund laufen, er soll mich nicht in meiner Arbeitsfähigkeit einschränken, aber er soll Viren fernhalten. Solange kein Virenbefall auftritt, wurde die Aufgabe erfolgreich gelöst und ich kümmere mich nicht weiter darum. Ein Experte möchte herausfinden, wie der Scanner neue Viren findet und mit welcher Strategie er dabei vorgeht, entweder um den Scanner zu verbessern oder um ihn zu überlisten.

ANZEIGE

Was passiert im Ausnahmefall?

Dr. Maul: In unserer komplexen Welt sind wir bei vielen Themen gewohnt, Aufgaben abzugeben. Wir wollen auch nicht alles in unserem täglichen Leben nachvollziehen, wir wollen nur, dass alles funktioniert. Ausnahmen können selbstverständlich technikbegeisterte Menschen sein, die auch Details wissen und verstehen möchten. Das alles ändert sich, sobald etwas nicht funktioniert und hier kommen wir zur Fallunterscheidung. Je nach Tragweite der Fehlfunktion ist das danach einsetzende Misstrauen in die Zuverlässigkeit des Systems groß und kann so weit führen, dass wir das System ablehnen, es also nicht mehr nutzen, sondern zu altbewährten Methoden zurückkehren, weil diese uns verlässlicher scheinen. Dabei prüfen wir selten Statistiken, sondern handeln meist emotional.

Gibt es dazu ein passendes Beispiel?

Dr. Maul: Das viel diskutierte Beispiel des führerlosen Fahrzeugs muss auch hier herhalten: Alle Unfälle mit führerlosen Fahrzeugen haben eine große Presse bekommen und insbesondere die Todesfälle haben verständlicherweise zu Zurückhaltung geführt, solche Fahrzeuge im Selbstversuch zu testen. Dabei hat aber niemand die Statistik zu Rate gezogen und die prozentuale Anzahl der Unfälle im normalen Straßenverkehr mit denen mit hoch automatisierten oder autonomen Fahrzeugen verglichen. Zusammenfassend kann man festhalten, dass die Notwendigkeit, autonome Systeme nachvollziehbar zu gestalten, in vielen speziellen Anwendungsfällen groß ist. Nachvollziehbarkeit schafft Vertrauen in das System. Wie dies umgesetzt wird, um auch Laien verständliche Erläuterungen hierzu zu liefern, ist eine Herausforderung.

Ist Nachvollziehbarkeit von realen KI-Systementscheidungen und speziell des Verhaltens autonomer Systeme mehr als mein persönliches Empfinden dazu?

Prof. Sommer: Ja, natürlich, die sogenannte erklärbare und transparente KI ist seit einigen Jahren, auch international, eine eigene Forschungs- und Entwicklungsrichtung, mit ersten Anwendungen beziehungsweise Tests unter anderem in der Medizin – etwa bei Diagnoseassistenz, autonome Therapiesysteme – für chemische Prozesse, Energieerzeugung und -verteilung, Luftfahrt, Militär, Datenanalyse und weitere autonome Systeme.

Gibt es vielversprechende systematische Strategien und Lösungsansätze zur Realisierung?

Prof. Sommer: Lassen Sie uns vorne beginnen: Den autonomen Systemen liegt maschinelles Lernen zur Analyse von Daten als Methode zugrunde. Nach heutigem Konsens ist in jedem Fall eine nachgelagerte systeminhärente Überprüfung, Validierung und Interpretation der Ergebnisse notwendig. In der Tat gibt es eine ganze Reihe konkreter und schon erprobter Ansätze dazu. Was unserer klassischen Herangehensweise in der Mess- und Automatisierungstechnik nahe kommt, ist etwa die sogenannte Schichtweise-Relevanz-Fortpflanzung. Bei dieser werden die angelernten Wichtungen der Neuronenschichten rückwärts betrachtet (fortgepflanzt). Daraus lassen sich Aussagen zur Klarheit und Sicherheit einer generierten Lösung sowie zu den dominanten, entscheidungsrelevanten Eingangsparametern treffen. Ähnlich nahe an bekannten Herangehensweisen erscheint der probabilistische Ansatz, die sogenannte Bayesian Rule List zu liegen. Durchsetzen werden sich die verlässlichsten und bezüglich ihrer Strategie verständlichsten Ansätze.

ANZEIGE

Kunststoff in Form bringen

Bild: KEB Automation KG

Bild: KEB Automation KG

Sie begegnen uns in vielen Bereichen: Kunststoffprodukte. Hinter ihnen stehen Maschinen, die zuverlässig sein müssen. Ob es sich um Extrusions- oder Spritzgießtechnik handelt – KEB Automation bietet die passende Automatisierungs- und Antriebstechnik.

Welche kurzfristige Bedeutung, zum Beispiel für die Serienfertigung im Maschinen- oder Fahrzeugbau, haben die erklärbare und transparente KI und die autonomen Systeme?

Prof. Sommer: Wir sehen seit einiger Zeit eine rasante Entwicklung weg von der Großserienfertigung hin zur personalisierten Produktion. Permanent wechselnde Vorgaben für die Fertigungsstrecken und Parameteränderungen müssen berücksichtigt und schnell und ohne zeitintensive Umrüstungen zum geforderten Ergebnis führen. Modelle der Prozesse und Produkte werden immer wichtiger; sie sind schneller und einfacher zu handhaben als reale Messwerte. Machine-Learning-Prozesse ermitteln daraus die Fertigungsparameter und darauf muss Verlass sein. Sie müssen also validiert und nachvollziehbar sein. Eventuell notwendige, physische Änderungen an der Fertigungsstrecke werden vorzugsweise durch mobile Roboter durchgeführt oder kompensiert, wofür entsprechende Forderungen existieren.

Möchten Sie abschließend aus Ihrer Sicht einen Entwicklungszielpunkt für Nachvollziehbarkeit und Transparenz, insbesondere des Verhaltens autonomer Systeme setzen?

Prof. Sommer: Als Messtechniker favorisiere ich persönlich ein mittelfristig sicher erreichbares Ziel, nämlich die Ergebnisse und Entscheidungen von intelligenten Systemen beziehungsweise das Verhalten autonomer Systeme in ihrer Qualität quantifizierbar zu machen, zum Beispiel mittels Klassifizierung oder einem probabilistischen Vertrauensstatement. Etwa wie wir heute die Qualität von Messergebnissen anhand der Messunsicherheit nach internationalen Regeln bewerten.


Serie: Zehn Fragen zu KI und autonomen Systemen

Künstliche Intelligenz (KI) und autonome Systeme sind in vielen Bereichen der Industrie, der Logistik und des Verkehrs untrennbar miteinander verknüpft. Allein und in Kombination bergen sie große wirtschaftliche Potenziale, bringen aber auch Risiken mit sich. Die Arbeitsgruppe ‚Autonome Systeme‘ der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (VDI/VDE-GMA) hat zehn Fragen zusammengetragen, die es zu beantworten gilt, um KI wirtschaftlich erfolgreich zu machen:
1. Wie können wir das autonome System beherrschen?
2. Wie autonom soll das autonome System für uns sein?
3. Wie machen wir das autonome System autonom?
4. Wie nachvollziehbar muss das Verhalten eines autonomen Systems sein?
5. Wie kann man autonome Systeme vergleichen?
6. Wie zuverlässig ist das lernende autonome System?
7. Wie effizient ist das autonome System?
8. Wie sicher ist das autonome System?
9. Wo sind die Grenzen des autonomen Systems?
10. Welchen Werten folgt das autonome System?


Das könnte Sie auch interessieren:

Die Eclipse Foundation präsentiert in ihrem ’IoT & Edge Developer Survey 2022‘ Entwicklertrends mit Schwerpunkt auf Edge Computing, KI und Sicherheit. Die Ergebnisse sollen Aufschluss über die Nutzung von Plattformen, Bedenken von Entwicklern, Zielmärkte und mehr geben.‣ weiterlesen

Der digitale Zwilling zählt für viele zu einem Kernelement der industriellen Digitalisierung, obwohl solche Integrationen oft noch sehr komplex sind. Für eine schrittweise Einführung gilt es, die unterschiedlichen Ausprägungsformen des digitalen Zwillings zu verstehen.‣ weiterlesen

Mit Andreas Montag und Nikas Schröder hat der ERP-Spezialist AMS.Solution zwei neue Vorstandsmitglieder. Zudem wird Simone Schiffgens neue Vorstandsvorsitzende und folgt auf Manfred Deues, der in den Aufsichtsrat wechselt.‣ weiterlesen

Björn Goerke verstärkt die Führungsetage beim ERP-Anbieter ProAlpha. Als Chief Technology Officer soll er die weitere Transformation des Unternehmens in die Cloud-Ära gestalten.‣ weiterlesen

Mehr Netzwerkausfälle und längere Wiederherstellungszeit: Davon berichten CIOs und Netzwerktechniker in einer Befragung des Netzwerkspezialisten Opengear. Demnach liegt die durchschnittliche Downtime um 2 Stunden höher als 2020.‣ weiterlesen

Wie können oft verwässerte ESG-Berichte der Vergangenheit angehören? Während sich auf politischer Ebene in puncto nachhaltiges Wirtschaften einiges bewegt, kann insbesondere die technologische Seite einen Beitrag zu einer transparenteren Produktion leisten. Den Grundgedanken der Industrie 4.0 zu implementieren, ist dabei ein wichtiger Schritt.‣ weiterlesen

Mit 100,4 Punkten liegt das IAB-Arbeitsmarktbarometer auf dem tiefsten Stand seit 2020 und somit noch knapp über der neutralen Marke. Demnach sendet der Frühindikator noch leicht positive Signale.‣ weiterlesen

Die Senkung der Betriebskosten ist ein Trend bei IIoT-Installationen, was auch als Zeichen einer reifen Branche zu verstehen ist. Dabei stellen Betreiber schon bei der Architektur-Planung sicher, keine unnötigen Kostentreiber einzurichten. Das bedeutet auch, Lösungen auch mal ohne das beliebte MQTT-Protokoll durchzudenken.‣ weiterlesen

Ein Abrasivwasserstrahl bearbeitet Bauteile effektiv und fast verschleißfrei. Doch die komplexe Prozessführung und -steuerung verhinderte bislang den Durchbruch dieser Technologie in der Fertigung. Am Fraunhofer IPT entstanden jetzt ein neuer Wasserstrahlkopf und eine Software, um diese Fertigungstechnik besser und zugänglicher zu machen.‣ weiterlesen