„Das Black-Box-Problem der Künstlichen Intelligenz“ – Forschende am Karlsruher Institut für Technologie arbeiten an Explainable AI (XAI) - Campus-Report am 21.10.2025

Die künstliche Intelligenz hat in den Wissenschaften einen Siegeszug ohne Beispiel angetreten. Neuronale Netze oder Maschinenlernen erlauben in den unterschiedlichsten Forschungsdisziplinen dort schnelle und überraschende Ergebnisse zu erzielen, wo große Datenmengen für das Training der KI zur Verfügung stehen. Das Problem: die Forschenden verstehen nicht wirklich, wie das neuronale Netz zu bestimmten Ergebnissen kommt. Dieses so genannte Blackbox-Problem der KI hat Forschenden, die damit arbeiten den Vorwurf eingebracht, gar nicht wirklich Wissenschaft zu betreiben, sondern nur eine Art von Engineering. ... mehr Ethisch bedenklich wird dieses Problem bei der Anwendung von KI in sozial sensiblen Bereichen wie etwa der Vergabe von Krediten oder der Auswahl geeigneter BewerberInnen für einen Arbeitsplatz. Wer hier den Entscheidungen der KI blind vertraut, geht ein hohes Risiko ein. Deshalb sind die Versuche die Blackbox-KI in eine mehr oder weniger transparente Glassbox-KI zu verwandeln, zu einer Frontlinie der Forschung geworden. Auch am Scientific Computing Center des Karlsruher Instituts für Technologie arbeitet man an der sogenannten Explainable AI, der erklärbaren KI und versucht die Geheimnisse der Black-Box ein Stück weit zu lüften.

Artificial intelligence has made an unprecedented triumphal march in the sciences. Neural networks or machine learning make it possible to achieve fast and surprising results in a wide range of research disciplines where large amounts of data are available for training AI. The problem is that researchers do not really understand how the neural network arrives at certain results. This so-called black box problem of AI has led researchers who work with it to be accused of not really doing science at all, but just a kind of engineering. This problem becomes ethically questionable when AI is used in socially sensitive areas such as the granting of loans or the selection of suitable applicants for a job. ... mehrAnyone who blindly trusts the decisions of AI here is taking a high risk. This is why attempts to transform black box AI into a more or less transparent glass box AI have become a front line of research. The Scientific Computing Center at the Karlsruhe Institute of Technology is also working on explainable AI and is trying to unravel the secrets of the black box to some extent.