Gefahren eines KI-Systems abschätzen

Leitplanken der Regulierung

Um Risiken beim Einsatz von KI-Technologien vorzubeugen, hat die Europäische Kommission im April 2021 einen Regulierungsvorschlag vorgelegt. Diesen haben Autorinnen und Autoren der Plattform Lernende Systeme untersucht und ein Whitepaper als Debattenbeitrag zur Messgröße der Kritikalität veröffentlicht. Eine Einführung.

Expertinnen und Experten der Arbeitsgruppen IT-Sicherheit, Privacy, Recht und Ethik sowie Technologische Wegbereiter und Data Science der Plattform Lernende Systeme setzen sich in einem Ende letzten Jahres erschienenen Whitepaper mit Teilen des EU-Vorschlags auseinander: nämlich anhand welcher Kriterien festgelegt werden kann, in welchen Fällen der Einsatz von KI-Systemen von vornherein zu regulieren ist und wann dies nicht notwendig ist. Ziel ist es, die KI-Systeme zu finden, die zur Sicherstellung der Sicherheit und Vertrauenswürdigkeit einer Regulierung bedürfen – und so gleichzeitig einer Überregulierung vorzubeugen.

Vielfältige Schäden denkbar

Mögliche Schäden beim Einsatz von KI-Systemen sind vielfältig und können unterschiedliche Akteure betreffen. KI-Systeme können sowohl Individuen als auch Gruppen wie der Gesellschaft insgesamt Schaden zufügen. Zu beachten ist, dass der gesamtgesellschaftliche Schaden aufgrund unterschiedlicher Verstärkereffekte größer sein kann als die bloße Summe der einzelnen individuellen Schäden. Die individuellen und gesamtgesellschaftlichen Schäden können entweder in Form von materiellen oder in Form von immateriellen Schäden auftreten. Materielle Schäden beschreiben im juristischen Sinne Sachschäden oder Verletzungen der körperlichen Unversehrtheit bis hin zur Gefährdung von Menschenleben. Beispiele für materielle Schäden sind Schäden an Gütern, an kritischen Infrastrukturen und ökologische Schäden sowie Umweltkatastrophen. Unter immateriellen Schäden versteht man das Ergebnis der Verletzung von Persönlichkeitsrechten, also beispielsweise die Verletzung von Privatheit oder sozialer Normen wie Gerechtigkeit und Fairness, oder die Verletzung normativ-regulativer Vorgaben sowie die Gefährdung der Stabilität der Demokratie.

An der Kritikalität gemessen

Unter Kritikalität ist im Zusammenhang mit KI-Systemen das Maß für potenzielle Gefahren zu verstehen, die vom Einsatz des KI-Systems in seinem Anwendungskontext ausgehen können. Aus der vor der Inbetriebnahme ermittelten Kritikalität lässt sich die Regulierungsbedürftigkeit ableiten: Ist sie niedrig, ist wenig Regulierung nötig, während eine hohe Kritikalität mit einem höheren Regulierungsbedarf bis hin zum Verbot eines KI-Systems in bestimmten Anwendungskontexten einhergehen sollte. Der Regulierungsvorschlag der Europäischen Kommission unterscheidet vier Risikoklassen, an die jeweils unterschiedliche Anforderungen gestellt werden: unannehmbar, hoch, gering und minimal. Die Anforderungen gehen von einem Verbot über Vorgaben, die vor Markteinführung erfüllt sein müssen, und Transparenzpflichten bis hin zu keinerlei Vorgaben. Ein unannehmbares Risiko besteht bei KI-Systemen, die als Bedrohung für die Sicherheit und die Lebensgrundlage beziehungsweise die Rechte der Menschen gelten. Systeme, die ein unannehmbares Risiko darstellen, sollen verboten werden. Für den Einsatz von KI-Systemen, die unter ein hohes Risiko fallen, sollen spezielle Regulierungsanforderungen gelten.

Anzeige

KI in Fertigungsbranche vorn

Die neunte Ausgabe von Rockwell Automations „State of Smart Manufacturing“ Report liefert Einblicke in Trends und Herausforderungen für Hersteller. Dazu wurden über 1.500 Fertigungsunternehmen befragt, knapp 100 der befragten Unternehmen kommen aus Deutschland. ‣ weiterlesen

Wie ermitteln?

Die Europäische Kommission schlägt in ihrem Regulierungsvorschlag sowohl eine Liste mit Domänen, deren Systeme immer als hochriskant eingeschätzt werden sollten, als auch eine Bewertung anhand unterschiedlicher Kriterien vor. Die Autorinnen und Autoren des Whitepapers plädieren jedoch für eine Einzelfallbewertung von KI-Systemen vor dem Hintergrund des jeweiligen Anwendungskontextes anhand bestimmter Kriterien. Die im EU-Regulierungsvorschlag vorgestellten Kriterien sind nach Meinung der Verfasser noch durch weitere Kriterien zu ergänzen. Ihr Vorschlag wäre es, die Bewertung eines KI-Systems in einem bestimmten Anwendungskontext in zwei Dimensionen einzuteilen: Möglichkeit und Ausmaß der Verletzung von Menschenleben und weiteren hohen Rechtsgütern sowie Umfang der Handlungsfreiheiten des Individuums. Je höher das Ausmaß der möglichen Verletzung von Menschenleben und weiteren hohen Rechtsgütern und je geringer der Umfang der Handlungsmöglichkeiten des Individuums, desto höher ist die Kritikalität – und daraus abgeleitet der Regulierungsbedarf – und vice versa.

Wer entscheidet?

Viele Diskussionspunkte rund um die Regulierung von KI-Systemen stehen noch ganz am Anfang. Einer davon ist die Frage, wer überhaupt befugt sein sollte, die Kritikalität einer Anwendung einzuschätzen. Die Autorinnen und Autoren des Papiers schlagen vor, das von der Anwendungsdomäne abhängig zu machen. Sollten staatliche Stellen für bestimmte Anwendungskontexte eine verpflichtende Regulierung einführen wollen, heißt es im Whitepaper, muss die Einschätzung der Kritikalität des KI-Systems vor dem Hintergrund seines Anwendungskontextes entweder von den staatlichen Stellen selbst vorgenommen werden, oder die staatlichen Stellen müssen darüber entscheiden, ob und an wen (z. B. Herstellende oder unabhängige Institutionen) diese Einschätzung delegiert wird.

Ein solider Baustein

Das aktuell diskutierte Konzept ist trotz einiger Schwächen bei seiner Anwendung auf KI-Systeme, etwa die Komplexitätsreduktion oder die mangelnde Vorherseh- und Absehbarkeit von Schäden, nach Auffassung der Autorinnen und Autoren eine vielversprechende Lösung für die Kritikalitätsbewertung. Es könnte einen weiteren – gleichwohl nicht hinreichenden – Baustein für die Vertrauenswürdigkeit von KI-Systemen bilden.

Der gesamte Debattenbeitrag lässt sich auf der Website als Whitepaper herunterladen.

Anzeige

Innovationstreiber Thin[gk]athon: Kollaborative Intelligenz trifft auf Industrie-Expertise

Der Thin[gk]athon, veranstaltet vom Smart Systems Hub, vereint kollaborative Intelligenz und Industrie-Expertise, um in einem dreitägigen Hackathon innovative Lösungsansätze für komplexe Fragestellungen zu generieren. ‣ weiterlesen

„Systeme brauchen regelmäßigen TÜV“

Warum sind Risikobewertungen von KI-Systemen so schwierig und wo müsste der EU-Vorschlag erweitert werden, damit eine KI vertrauenswürdiger ist? Das erläutert Whitepaper-Mit­verfasser Armin Grunwald (Bild), Professor am KIT und Leiter des Büros für Technikfolgen-Abschätzung beim Deutschen
Bundestag für die Plattform Lernende Systeme.

Herr Grunwald, ist ein KI-System mit niedriger Kritikalität unbedenklich?
Armin Grunwald: Die Kritikalität eines KI-Systems hängt davon ab, wie, wo, wann und von wem es eingesetzt wird. Innerhalb dieses Anwendungskontextes lassen sich mögliche Risiken in der Theorie nachvollziehbar beurteilen. Allerdings kann die theoretische Beurteilung nicht die mögliche Dynamik der späteren realen Nutzung vorwegnehmen. Diese ist oft unvorhersehbar, schon allein deshalb, weil Marktgeschehen und Akzeptanz bei den Menschen immer wieder überraschend verlaufen. Außerdem übersteigt die menschliche Kreativität häufig die angenommenen Anwendungsszenarien – im positiven Sinne, wenn neue erwünschte Anwendungen und Innovationen entdeckt werden, aber auch im negativen Sinne, wenn KI-Systeme für unethische Aktionen missbraucht oder zweckentfremdet werden. Daher ist eine niedrige Kritikalität nur ein Hinweis auf ein zunächst anzunehmendes geringes Schadenspotential, aber keine Garantie, dass dies auch so bleibt. Keinesfalls ist sie gleichbedeutend mit Unbedenklichkeit.

Warum lassen sich die Risiken eines KI-Systems so schwer verlässlich beurteilen?
Grunwald: Die Offenheit der Zukunft – oft abwertend als Unsicherheit bezeichnet – verhindert eine auf empirischen Daten beruhende Risikobeurteilung eines KI-Systems, denn Daten aus der Zukunft gibt es nicht. Zu dieser grundsätzlichen Begrenzung kommt hinzu, dass KI-Systeme sich durch maschinelles Lernen in unvorhersehbarer Weise verändern können. Jegliche Risikobeurteilung für KI-Systeme muss daher auch mögliche Veränderungen in den Blick nehmen und sogar die Risiken eines nicht-intendierten Lernens betrachten. Eventuell sind auch Leitplanken des Lernens in das KI-System einzuprogrammieren, um solch unerwünschte Effekte zu vermeiden.

Die Regulierung anhand von Kritikalitätsstufen reicht also nicht aus. Was ist notwendig, um ein KI-System vertrauenswürdig zu machen?
Grunwald: Vertrauen entsteht, wenn technische Leistungsparameter, entsprechende Erfahrung und deren menschliche und institutionelle Überwachung zusammenkommen. Analog ist dies bei KI-Systemen: Sie müssen zugelassen werden, sie müssen verlässlich und nachweisbar ihren Dienst tun und sie muss regelmäßig von einer Art TÜV überprüft werden.