Anzeige
Beitrag drucken

Teil 4 der Serie ‚Autonome Systeme‘

Wie nachvollziehbar müssen autonome Systeme agieren?

Noch sind viele technisch-wissenschaftliche und gesellschaftliche Fragen zu autonomen Systemen offen. Einen Beitrag zum Diskurs leistet die Reihe ‚Künstliche Intelligenz und autonome Systeme‘ der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik. Diesmal befragt die Arbeitsgemeinschaft ‚Autonome Systeme‘ Dr. Christine Maul, Vorstandsmitglied der VDI/VDE-GMA, und Professor Klaus Dieter Sommer, Technische Universität Ilmenau; Beiratsmitglied der VDI/VDE-GMA, dazu, wie nachvollziehbar sich ein autonomens System verhalten sollte.

Bild: ©Jacky/stock.adobe.com

Bild: ©Jacky/stock.adobe.com

Was ist unter Nachvollziehbarkeit und Transparenz des Verhaltens eines autonomen Systems zu verstehen?

Prof. Sommer: Nachvollziehbarkeit eines Verhaltens ist für mich, sehr vereinfachend gesprochen, etwas, das ich erklären und möglichst auch interpretieren, auf jeden Fall verstehen kann oder das schlicht meinen Erfahrungen entspricht. Auf autonome oder allgemein intelligente Systeme bezogen, bedeutet dies unter anderem die Fähigkeit zur Beantwortung relevanter Fragen wie:

  • • Warum verhält sich das System jetzt so und nicht anders?
  • • In welchen Fällen oder unter welchen Umständen (Zuständen und Eingangssignalen) kann ich dem Verhalten vertrauen?
  • • Welche Parameter beeinflussen das Verhalten und das resultierende Handeln des Systems am stärksten?
  • • Gibt es eine klare, gegebenenfalls quantifizierende Übersicht, welches Vertrauen ich unter welchen Umständen an das Handeln des Systems haben kann?
  • • Wie könnte ich im Falle eines Fehlverhaltens richtig eingreifen?

Nachvollziehbar für wen im Regelfall?

Dr. Maul: Entsprechend der Rolle der Anwender und der Aufgabe des Systems sollten wir hier Fallunterscheidungen treffen. Ein einfacher Nutzer eines autonomen Systems, der Interesse daran hat, dass eine Aufgabe gelöst wird, ohne dass er – der Nutzer – Zeit und Gedanken daran verschwenden muss, hat vermutlich kein tiefergehendes, bis auf das Niveau der Algorithmen reichendes Interesse an einer Nachvollziehbarkeit des Systemverhaltens. Ich bin mir noch nicht einmal sicher, ob es ihn interessiert, ob das System autonom einen neuen Lösungsweg findet oder nur automatisiert eine vorgegebene Lösung erarbeitet, solang er mit der Qualität der Lösung zufrieden ist. Ein Experte des jeweiligen Aufgabengebietes, der das System z.B. in eine Prozesssteuerung eingliedern muss oder dessen weiteres Anwendungs- oder Entwicklungspotenzial analysiert, möchte sicherlich genauer wissen, wie das autonome System zu einer Antwort kommt, um den Lösungsweg mit seinem eigenen Weg zu vergleichen. Er möchte nachvollziehen, welche Regeln berücksichtigt werden und wie Änderungen den Lösungsweg beeinflussen. Relevante Bereiche, in denen die Nachvollziehbarkeit und Transparenz des intelligenten, lernenden Systems sicher eine größere Rolle spielt, sind unter anderem sicherheitsrelevante Anwendungen, z.B. das bekannte autonome Fahrzeug, Logistiksysteme und auch autonome medizinische Diagnose- und Therapiesysteme.

Gibt es dazu ein passendes Beispiel?

Dr. Maul: Das Beispiel des Virenscanners, das Dr. Attila Bilgic in dieser Interviewreihe bei seiner Antwort auf Frage 1 eingeführt hat, passt hierzu: Ich möchte als simpler Anwender nicht unbedingt verstehen, wie mein Virenscanner im Detail funktioniert. Der Scanner soll im Hintergrund laufen, er soll mich nicht in meiner Arbeitsfähigkeit einschränken, aber er soll Viren fernhalten. Solange kein Virenbefall auftritt, wurde die Aufgabe erfolgreich gelöst und ich kümmere mich nicht weiter darum. Ein Experte möchte herausfinden, wie der Scanner neue Viren findet und mit welcher Strategie er dabei vorgeht, entweder um den Scanner zu verbessern oder um ihn zu überlisten.

Was passiert im Ausnahmefall?

Dr. Maul: In unserer komplexen Welt sind wir bei vielen Themen gewohnt, Aufgaben abzugeben. Wir wollen auch nicht alles in unserem täglichen Leben nachvollziehen, wir wollen nur, dass alles funktioniert. Ausnahmen können selbstverständlich technikbegeisterte Menschen sein, die auch Details wissen und verstehen möchten. Das alles ändert sich, sobald etwas nicht funktioniert und hier kommen wir zur Fallunterscheidung. Je nach Tragweite der Fehlfunktion ist das danach einsetzende Misstrauen in die Zuverlässigkeit des Systems groß und kann so weit führen, dass wir das System ablehnen, es also nicht mehr nutzen, sondern zu altbewährten Methoden zurückkehren, weil diese uns verlässlicher scheinen. Dabei prüfen wir selten Statistiken, sondern handeln meist emotional.

Gibt es dazu ein passendes Beispiel?

Dr. Maul: Das viel diskutierte Beispiel des führerlosen Fahrzeugs muss auch hier herhalten: Alle Unfälle mit führerlosen Fahrzeugen haben eine große Presse bekommen und insbesondere die Todesfälle haben verständlicherweise zu Zurückhaltung geführt, solche Fahrzeuge im Selbstversuch zu testen. Dabei hat aber niemand die Statistik zu Rate gezogen und die prozentuale Anzahl der Unfälle im normalen Straßenverkehr mit denen mit hoch automatisierten oder autonomen Fahrzeugen verglichen. Zusammenfassend kann man festhalten, dass die Notwendigkeit, autonome Systeme nachvollziehbar zu gestalten, in vielen speziellen Anwendungsfällen groß ist. Nachvollziehbarkeit schafft Vertrauen in das System. Wie dies umgesetzt wird, um auch Laien verständliche Erläuterungen hierzu zu liefern, ist eine Herausforderung.

Ist Nachvollziehbarkeit von realen KI-Systementscheidungen und speziell des Verhaltens autonomer Systeme mehr als mein persönliches Empfinden dazu?

Prof. Sommer: Ja, natürlich, die sogenannte erklärbare und transparente KI ist seit einigen Jahren, auch international, eine eigene Forschungs- und Entwicklungsrichtung, mit ersten Anwendungen beziehungsweise Tests unter anderem in der Medizin – etwa bei Diagnoseassistenz, autonome Therapiesysteme – für chemische Prozesse, Energieerzeugung und -verteilung, Luftfahrt, Militär, Datenanalyse und weitere autonome Systeme.

Gibt es vielversprechende systematische Strategien und Lösungsansätze zur Realisierung?

Prof. Sommer: Lassen Sie uns vorne beginnen: Den autonomen Systemen liegt maschinelles Lernen zur Analyse von Daten als Methode zugrunde. Nach heutigem Konsens ist in jedem Fall eine nachgelagerte systeminhärente Überprüfung, Validierung und Interpretation der Ergebnisse notwendig. In der Tat gibt es eine ganze Reihe konkreter und schon erprobter Ansätze dazu. Was unserer klassischen Herangehensweise in der Mess- und Automatisierungstechnik nahe kommt, ist etwa die sogenannte Schichtweise-Relevanz-Fortpflanzung. Bei dieser werden die angelernten Wichtungen der Neuronenschichten rückwärts betrachtet (fortgepflanzt). Daraus lassen sich Aussagen zur Klarheit und Sicherheit einer generierten Lösung sowie zu den dominanten, entscheidungsrelevanten Eingangsparametern treffen. Ähnlich nahe an bekannten Herangehensweisen erscheint der probabilistische Ansatz, die sogenannte Bayesian Rule List zu liegen. Durchsetzen werden sich die verlässlichsten und bezüglich ihrer Strategie verständlichsten Ansätze.

Welche kurzfristige Bedeutung, zum Beispiel für die Serienfertigung im Maschinen- oder Fahrzeugbau, haben die erklärbare und transparente KI und die autonomen Systeme?

Prof. Sommer: Wir sehen seit einiger Zeit eine rasante Entwicklung weg von der Großserienfertigung hin zur personalisierten Produktion. Permanent wechselnde Vorgaben für die Fertigungsstrecken und Parameteränderungen müssen berücksichtigt und schnell und ohne zeitintensive Umrüstungen zum geforderten Ergebnis führen. Modelle der Prozesse und Produkte werden immer wichtiger; sie sind schneller und einfacher zu handhaben als reale Messwerte. Machine-Learning-Prozesse ermitteln daraus die Fertigungsparameter und darauf muss Verlass sein. Sie müssen also validiert und nachvollziehbar sein. Eventuell notwendige, physische Änderungen an der Fertigungsstrecke werden vorzugsweise durch mobile Roboter durchgeführt oder kompensiert, wofür entsprechende Forderungen existieren.

Möchten Sie abschließend aus Ihrer Sicht einen Entwicklungszielpunkt für Nachvollziehbarkeit und Transparenz, insbesondere des Verhaltens autonomer Systeme setzen?

Prof. Sommer: Als Messtechniker favorisiere ich persönlich ein mittelfristig sicher erreichbares Ziel, nämlich die Ergebnisse und Entscheidungen von intelligenten Systemen beziehungsweise das Verhalten autonomer Systeme in ihrer Qualität quantifizierbar zu machen, zum Beispiel mittels Klassifizierung oder einem probabilistischen Vertrauensstatement. Etwa wie wir heute die Qualität von Messergebnissen anhand der Messunsicherheit nach internationalen Regeln bewerten.


Serie: Zehn Fragen zu KI und autonomen Systemen

Künstliche Intelligenz (KI) und autonome Systeme sind in vielen Bereichen der Industrie, der Logistik und des Verkehrs untrennbar miteinander verknüpft. Allein und in Kombination bergen sie große wirtschaftliche Potenziale, bringen aber auch Risiken mit sich. Die Arbeitsgruppe ‚Autonome Systeme‘ der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (VDI/VDE-GMA) hat zehn Fragen zusammengetragen, die es zu beantworten gilt, um KI wirtschaftlich erfolgreich zu machen:
1. Wie können wir das autonome System beherrschen?
2. Wie autonom soll das autonome System für uns sein?
3. Wie machen wir das autonome System autonom?
4. Wie nachvollziehbar muss das Verhalten eines autonomen Systems sein?
5. Wie kann man autonome Systeme vergleichen?
6. Wie zuverlässig ist das lernende autonome System?
7. Wie effizient ist das autonome System?
8. Wie sicher ist das autonome System?
9. Wo sind die Grenzen des autonomen Systems?
10. Welchen Werten folgt das autonome System?


Das könnte Sie auch interessieren:

Wenn Unternehmen mehr als einen Prozess mit künstlicher Intelligenz optimieren wollen, können Data-Science-Plattformen Geschwindigkeitsvorteile bieten. Diese Lösungen bieten in der Regel verschiedene Komponenten, um Daten aufzubereiten und darzustellen.‣ weiterlesen

Immer komplexere, spezialisiertere Hardware übernimmt Aufgaben im Fertigungsprozess. Doch dieser Hardware-First-Ansatz bringt auch Tücken mit sich. Dabei ist die Lösung ganz einfach: bessere Software und simplere Maschinen‣ weiterlesen

Die Begriffe Generative Design und Topologieoptimierung werden oft verwechselt. Worin aber liegen die genauen Unterschiede zwischen den beiden CAD-Tools? Dieser Frage und dem daraus entstehenden Potenzial widmet sich der folgende Beitrag.‣ weiterlesen

PTC hat den Schüler-Wettbewerb ‘Robots to the Rescue‘ ausgeschrieben. Die Aufgabe ist es einen Roboter zu entwerfen, der bei der Lösung eines realen Problems helfen kann. Die Teilnahme erfolgt virtuell.‣ weiterlesen

Der Einfluss von künstlicher Intelligenz (KI) auf IT-Lösungen in der Fertigung lässt sich kaum leugnen. Von Predictive Quality bis hin zu Automated Data Science ist das Potenzial von KI-Anwendungen bereits jetzt groß - gerade auch in Verbindung mit historischen Daten aus dem Manufacturing Execution System.‣ weiterlesen

Zehntausende Stellen für IT-Fachkräfte waren in Deutschland im letzten Jahr unbesetzt. Ein neues Test-Verfahren hilft Unternehmen dabei, unter Quereinsteigern diejenigen zu finden, die offene IT-Stellen ohne Abschluss - aber mit Erfahrungswissen - ausfüllen können.‣ weiterlesen

Der Ifo-Index der Produktionserwartungen erlebte im März den stärksten Rückgang seit Beginn der Erhebung im Jahr 1991. Dabei zeigt sich die Automobilindustrie besonders pessimistisch.‣ weiterlesen

Im Februar verfehlten die Auftragseingänge im deutschen Maschinenbau ihr Vorjahresniveau real um 4 Prozent. Während die Bestellungen der inländischen Kunden um 6 Prozent sanken, lagen die Auslandsorders um 3 Prozent unter ihrem Vorjahresniveau. „Das ist die Ruhe vor dem Sturm“, sagt VDMA-Chefvolkswirt Dr. Ralph Wiechers.‣ weiterlesen

Um autonome Systeme mit KI einschätzen zu können, müssen sie unabhängig von der Domäne verglichen werden. Teil 5 unserer Serie 'Autonome Systeme' greift den Nutzen einer Gegenüberstellung auf und was es dazu braucht. Katharina Giese und Piet Lipke vom Fraunhofer IOSB-INA erläutern das am Beispiel autonomer Anlagenkomponenten in der Forschungsfabrik SmartFactoryOWL in Lemgo.‣ weiterlesen

Sergio Resendiz (Bild) ist neuer Leuze-Vice President Americas und berichtet direkt an den CEO Ulrich Balbach.‣ weiterlesen

Eine zentrale Anwendung beim Roboter-Einsatz ist die Kollaboration zwischen Mensch und Maschine – beispielsweise die Unterstützung bei für den Menschen belastenden Aufgaben. Welche Vorteile eine produktive Mensch-Roboter-Kooperation (MRK) haben kann, zeigt das Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI bei der Überprüfung von Schweißnähten in der Automobilindustrie‣ weiterlesen

Anzeige
Anzeige
Anzeige