Die kürzlich beschlossene Verordnung des EU Artificial Intelligence Act vom 21. Mai 2024 zielt unter anderem darauf ab, die Transparenz von KI-Systemen und deren Entscheidungen zu steigern. Für einige KI-Systeme wird sogar vorausgesetzt, dass ein hinreichender Grad an „menschlicher Kontrolle“ über das KI-System gewährleistet ist. Sagt ein KI-System, z.B. den Ausfall einer Maschine voraus, stellt sich sofort die Frage, ob das KI-System direkt ein Reparaturteam losschickt oder die Entscheidung noch von einem Menschen bestätigt oder widerrufen werden soll. Im letzteren Fall muss die Prognoselogik des KI-Systems hinreichend nachvollziehbar sein, damit ein Mensch als Ultima Ratio die finale Entscheidung treffen kann. Ohne eine solche kann es passieren, dass das KI-System das Reparaturteam fälschlicherweise losschickt. Damit rückt ein zentrales Thema solcher datengetriebener KI-Systeme in den Vordergrund: Interpretierbarkeit und Erklärbarkeit der KI-Systeme und Entscheidungslogik insbesondere in kritischeren Entscheidungssituationen als das Losschicken eines Reparaturteams.
Interpretierbarkeit vs. Erklärbarkeit
Hierzu ist es hilfreich, kurz zu erläutern, was Interpretierbarkeit im Sinne dieses Artikels bedeutet: Ergebnisse aus KI-Systemen sind dann gut interpretierbar, wenn Ursache und Wirkung und optimalerweise mit geringem Aufwand und mit minimalem Fachwissen beobachtet werden kann. Wird das obige KI-System für Maschinenausfälle betrachtet, so kann es vielleicht verschiedene Einflussgrößen wie z.B. Temperaturauffälligkeiten oder Vibrationsmessungen berücksichtigen. Wird ein entsprechend einfaches Modell aufgesetzt, kann der KI-Fachexperte direkt ablesen, wie diese Variablen beim Verletzen von Schwellwerten die die Ausfallsprognose beeinflussen. Interpretierbarkeit fordert also, dass das Modell per se ohne größeren Aufwand vollständig nachvollziehbar ist. Dies gilt insbesondere für den Weg, wie das Modell zu einem Output kommt (bspw. einer Entscheidung). Wie gut das Modell dabei den zu beschreibenden Sachverhalt erklärt, ist dagegen nebensächlich: Es ist zu 100 % nachvollziehbar, wie sich die Entscheidung des Modells zusammensetzt – natürlich nötiges KI-Fachwissen vorausgesetzt.
Interpretierbarkeit und Nachvollziehbarkeit steht allerdings oft im Gegensatz zur Genauigkeit. KI-Modelle sollen in der Regel aber vor allem genau sein, also einen zukünftigen Zustand möglichst korrekt beschreiben – jedenfalls im Mittel. Das erfordert in der Praxis hochkomplexe Modelle, die zahlreiche Einflussgrößen in einer Vielzahl von Berechnungsregeln bündeln. Interpretierbar sind solche Modelle für sich genommen nicht mehr. Da hilft auch das tiefste KI-Fachwissen nicht mehr weiter. Da ein KI-Modell an Daten trainiert wird, können die Eigenschaften des Modells erst nach dem Training genauer erfasst werden – ganz so, als ob die genauen Eigenschaften eines Autos erst nach dessen Fertigung erkennbar werden. Die Eigenschaften eines Modells lassen sich also erst nach dem Training systematisch kennenlernen. Hier kommt das Konzept der „Erklärbarkeit“ zum Tragen.
Erklärbarkeit in der KI hat zum Ziel, die Funktionsweise des KI-Systems zu beschreiben. Bei komplexen Modellen, die nicht „intuitiv“ (also mit entsprechendem KI-Fachwissen) erklärt werden können, kann man das Modell mit bestimmten KI-Methoden auf dessen Wirkungsweise untersuchen und dieses „Modell“ des Systems in das KI-System selbst einfließen lassen. Entscheidungen des Modells werden so nachvollziehbar, auch wenn das Modell selbst nicht direkt interpretierbar ist.
Um aber Missverständnisse auszuschließen, sei Folgendes besonders betont: Bei Interpretierbarkeit und Erklärbarkeit ist der Untersuchungsgegenstand ausschließlich das KI-Modell. Schlüsse auf kausale Zusammenhänge in der Realität sind damit nicht gemeint.
Heben Sie Ihre KI-Systeme auf ein neues Level
Warum sind Interpretierbarkeit und Erklärbarkeit, abgesehen von der nun gegebenen regulatorischen Notwendigkeit, so wichtig? Jedes KI-Modell macht Fehler – und diese Fehler sind systeminhärent. In Kombination mit einem geringen Grad an Erklärbarkeit eines KI-Systems ist die Akzeptanz des KI-Systems bei Nutzern in Gefahr. Warum soll ich einem KI-System vertrauen, wenn ich nicht einmal verstehen kann, warum das KI-System Fehler macht? Je nach Anwendungsfall gewinnt diese Frage an Relevanz: Für einen Spam-Filter mag Interpretierbarkeit weniger wichtig sein, beim Losschicken eines Reparaturteams verursacht eine falsche Entscheidung „nur“ Kosten. Spätestens bei einem KI-System zur Vergabe von Bankkrediten ist Interpretierbarkeit aber unverzichtbar. In unserer Projekterfahrung sind Fragen nach „wie und warum kommt das Modell zu einer Entscheidung?“ gleichwertig mit der Frage, „wie genau“ ein Modell ist. Interpretierbarkeit und Erklärbarkeit sind damit schon lange wichtige Komponenten, wenn es um die Akzeptanz datengetriebener Entscheidungen bei Nutzern geht. Durch den EU AI Act sind diese aber nun auch regulatorische Notwendigkeit geworden.
Der Handlungsbedarf für Sie lässt sich mit den obigen Ausführungen kurz zusammenfassen:
- Führen Sie eine Gap-Analyse bei KI-Systemen mit hoher Kritikalität nach dem AI Act durch: Überprüfen Sie, (1) welcher Grad an Transparenz für Ihre KI-Systeme gegeben ist und (2) welcher notwendig ist
- Analysieren Sie KI-Systeme mit mittlerer oder niedriger Kritikalität, bei welchen die Transparenz verbessert werden kann
- Identifizieren Sie Maßnahmen, wie die Transparenz verbessert werden kann
- Bündeln Sie beide Fälle in einem koordinierten und effizienten Umsetzungsplan
- Setzen Sie den Plan um
Selbstverständlich unterstützen wir Sie und Ihr Unternehmen gerne – von der ersten Gap-Analyse zur vollständigen Umsetzung. Lassen Sie uns gemeinsam sicherstellen, dass Ihr Unternehmen nicht nur die regulatorischen Vorgaben erfüllt, sondern auch die Akzeptanz der Ergebnisse aus Ihren KI-Systemen signifikant erhöht wird!
