Vertrauen aufbauen: Transparenz bei KI-Entscheidungen

Transparenz bei KI-Entscheidungen bedeutet: Eine Person weiß, dass an einer Entscheidung über sie ein automatisiertes System beteiligt war, und kann die wichtigsten Faktoren hinter dem Ergebnis erfahren; eine Aufsichtsbehörde oder Forschende können überprüfen, ob sich das System so verhält wie behauptet. Wenn ein KI-System eine Entscheidung über einen Kredit, eine Diagnose oder eine Bewerbung mitbestimmt, haben die Betroffenen ein Anrecht darauf, zu erfahren, wie sie zustande kam, und sie anfechten zu können.

Was Transparenz bedeutet und was nicht

Transparenz hat vier Ebenen:

• Offenlegung: Eine Person weiß, dass an einer Entscheidung über sie ein automatisiertes System beteiligt war.
• Systemtransparenz: Dokumentation des Zwecks eines Systems, seiner Trainings- und Testdaten, seiner Leistung für verschiedene Gruppen und der Fälle, in denen es nicht eingesetzt werden sollte.
• Erklärbarkeit: die wichtigsten Faktoren hinter einem bestimmten Ergebnis für eine bestimmte Person.
• Nachprüfbarkeit: Aufzeichnungen und Belege, mit denen eine Aufsichtsbehörde oder Forschende überprüfen können, ob sich das System so verhält wie behauptet.

Transparenz bedeutet nicht, Quellcode oder Modellparameter zu veröffentlichen; eine Datei mit Modellgewichten sagt einer Person, deren Antrag abgelehnt wurde, nichts. Ziel sind Informationen, mit denen die jeweiligen Adressaten etwas anfangen können.

Warum Aufsicht und Rechtsschutz davon abhängen

Jede Ebene sichert eine Möglichkeit: nachzufragen, ob eine Entscheidung automatisiert getroffen wurde; eine falsche Eingabe wie eine falsch erfasste Zahlung zu erkennen und zu korrigieren; und im Nachhinein festzustellen, ob das System wie vorgesehen funktioniert hat.

Das europäische Recht baut darauf auf. Artikel 22 der DSGVO gibt jeder Person das Recht, nicht einer Entscheidung unterworfen zu werden, die ausschließlich auf einer automatisierten Verarbeitung beruht und ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Ist eine solche Entscheidung zulässig, weil sie für einen Vertrag erforderlich ist oder auf einer ausdrücklichen Einwilligung beruht, muss der Verantwortliche Schutzvorkehrungen vorsehen, mindestens das Recht auf das Eingreifen einer Person, auf die Darlegung des eigenen Standpunkts und auf die Anfechtung der Entscheidung.

Der EU AI Act, die Verordnung (EU) 2024/1689, geht bei Hochrisiko-KI-Systemen weiter; dazu zählen die Bewertung der Kreditwürdigkeit natürlicher Personen, die Personalauswahl und der Zugang zu Bildung. Anbieter müssen solche Systeme dokumentieren, eine Protokollierung ermöglichen und ihre Ausgaben für die Betreiber interpretierbar machen. Betreiber müssen die Betroffenen darüber informieren, dass ein solches System bei Entscheidungen über sie eingesetzt wird, und die menschliche Aufsicht Personen übertragen, die über die Kompetenz, die Ausbildung und die Befugnis zum Eingreifen verfügen. Wer einer solchen Entscheidung mit rechtlicher Wirkung oder ähnlich erheblicher Beeinträchtigung unterliegt und sie als nachteilig ansieht, kann vom Betreiber eine klare und aussagekräftige Erläuterung der Rolle des Systems bei der Entscheidung und ihrer wichtigsten Elemente erhalten (Artikel 86). Die meisten Pflichten für Hochrisiko-KI-Systeme sollten ursprünglich ab dem 2. August 2026 gelten, die Pflichten für Hochrisiko-KI in regulierten Produkten ab dem 2. August 2027; der digitale Omnibus zu KI (Verordnung (EU) 2026/1744), der seit dem 27. Juli 2026 in Kraft ist, verschob diese Termine auf den 2. Dezember 2027 beziehungsweise den 2. August 2028.

Wie eine aussagekräftige Erklärung aussieht

Für die betroffene Person umfasst eine Erklärung, mit der sie etwas anfangen kann:

• Dass ein automatisiertes System eingesetzt wurde, und für welchen Teil der Entscheidung.
• Die wichtigsten Faktoren, die das Ergebnis bestimmt haben, in verständlicher Sprache.
• Was sich ändern müsste, damit das Ergebnis anders ausfällt, soweit das realistisch ist.
• Wie man einen Menschen erreicht, die Daten berichtigt und das Ergebnis anficht.

Eine Kreditablehnung mit dem Satz „Ihr Antrag hat unsere Kriterien nicht erfüllt“ erklärt nichts. Eine Ablehnung mit dem Satz „Die Hauptgründe waren ein Einkommen unter der für diesen Kredit erforderlichen Höhe und zwei im vergangenen Jahr als verspätet erfasste Zahlungen; Sie können eine Überprüfung Ihrer Zahlungshistorie und eine erneute Prüfung durch einen Menschen beantragen“ gibt der antragstellenden Person etwas, das sie überprüfen kann, und einen Weg, aktiv zu werden. Sie legt nicht das Modell offen, sondern die Entscheidung.

Patientinnen und Patienten sollten wissen, dass Software eine Beurteilung unterstützt hat und dass die Verantwortung bei den Behandelnden bleibt; diese wiederum müssen wissen, wie sicher das System in seinem Urteil ist und wo es schlecht abschneidet. Bewerberinnen und Bewerber sollten erfahren, dass ein Werkzeug zur Vorauswahl eingesetzt wurde, was es bewertet hat und wie sich eine menschliche Überprüfung beantragen lässt, damit eine Auswahlliste eine Empfehlung bleibt und kein Urteil.

Methoden und ihre Grenzen

Technisch gibt es zwei Wege: Modelle, die durch ihren Aufbau interpretierbar sind, etwa Scorecards oder Entscheidungsregeln, und Post-hoc-Methoden für komplexe Modelle, darunter die Zuschreibung von Merkmalsbeiträgen (Feature Attribution, etwa SHAP und LIME) und kontrafaktische Erklärungen, die die kleinste Änderung der Eingaben beschreiben, die das Ergebnis umkehrt.

Post-hoc-Methoden fassen das Verhalten eines Modells zusammen oder nähern es an, statt seinen Mechanismus offenzulegen; verschiedene Methoden können bei derselben Entscheidung zu unterschiedlichen Ergebnissen kommen, Zuschreibungen können sich bei kleinen Änderungen der Eingaben verschieben, und eine flüssig formulierte Erklärung kann mehr Vertrauen wecken, als das Modell verdient. Kontrafaktische Erklärungen sollten sich auf Änderungen beschränken, die eine Person tatsächlich vornehmen kann: Jemandem mitzuteilen, der Antrag wäre genehmigt worden, wenn die Person zehn Jahre jünger wäre, ist kein Rat, sondern ein Zeichen dafür, dass sich das Modell auf ein Merkmal stützt, das die Person nicht ändern kann, womöglich eines, das unter dem Schutz des Gleichbehandlungsrechts steht.

Geschäftsgeheimnisse, personenbezogene Daten Dritter und das Risiko gezielter Manipulation können gewisse Grenzen rechtfertigen; eine praktikable Antwort ist ein abgestufter Zugang: Betroffene erhalten, was sie brauchen, um ihren Fall anzufechten, Prüferinnen und Prüfer erhalten Dokumentation und Protokolle, die Öffentlichkeit erhält Zusammenfassungen zu Zweck, Tests und Schutzvorkehrungen.

Nachweise statt Grundsatzerklärungen: ein Fazit für die Praxis

Öffentliches Vertrauen beruht auf Belegen, die sich überprüfen lassen, nicht auf Grundsatzerklärungen. Menschliche Aufsicht ist nur dann echt, wenn die Menschen, die sie ausüben, sich über das System hinwegsetzen können; der EU AI Act verlangt, dass die Aufsichtspersonen von Hochrisikosystemen in der Lage sind, sich des Automatisierungsbias bewusst zu bleiben (der Neigung, sich automatisch auf die Ausgabe eines Systems zu verlassen) und diese Ausgabe außer Kraft zu setzen. Wer ein solches System beschafft, betreibt oder ihm unterliegt, kann fragen:

• Ob ein KI-System beteiligt ist und ob die Betroffenen das wissen.
• Was das System leisten soll und wo es bekanntermaßen versagt.
• Womit es getestet wurde und wie die Ergebnisse für verschiedene Gruppen ausfallen.
• Wer sich darüber hinwegsetzen kann und ob diese Personen die Zeit und die Befugnis dazu haben.
• Wie eine Person eine Erklärung erhält und das Ergebnis anficht.
• Ob Entscheidungen für eine spätere Überprüfung protokolliert werden.

Kann eine Organisation diese Fragen nicht beantworten, liegt das Problem nicht an einem komplizierten Modell, sondern an einem System, das ohne die Voraussetzungen für Rechenschaft eingesetzt wurde. Die Arbeit der Stiftung besteht hier in Forschung und Veröffentlichungen: zur Erklärbarkeit, zur Verantwortlichkeit für automatisierte Entscheidungen und zu der Frage, wann Testergebnisse Aussagen über Fairness stützen, die ihr technischer Bericht zur Bias-Erkennung nach dem EU AI Act für synthetische, anonymisierte und differenziell private Daten untersucht.

Kurz gesagt

Transparenz bei KI-Entscheidungen bedeutet: Menschen wissen, dass an einer Entscheidung über sie ein automatisiertes System beteiligt war, und können die wichtigsten Faktoren hinter dem Ergebnis erfahren, während Aufsichtsbehörden und Forschende überprüfen können, ob sich das System so verhält wie behauptet. Sie hat vier Ebenen: Offenlegung, Systemtransparenz, Erklärbarkeit und Nachprüfbarkeit. Ziel sind Informationen, mit denen die Adressaten etwas anfangen können, nicht veröffentlichter Quellcode.

Häufige Fragen

Was ist der Unterschied zwischen Transparenz und Erklärbarkeit bei KI?

Transparenz ist der weitere Begriff und hat vier Ebenen: Offenlegung, Systemtransparenz, Erklärbarkeit und Nachprüfbarkeit. Erklärbarkeit ist eine dieser Ebenen. Sie umfasst die wichtigsten Faktoren hinter einem bestimmten Ergebnis für eine bestimmte Person.

Bedeutet KI-Transparenz, den Quellcode zu veröffentlichen?

Nein. KI-Transparenz bedeutet nicht, Quellcode oder Modellparameter zu veröffentlichen, denn eine Datei mit Modellgewichten sagt einer Person, deren Antrag abgelehnt wurde, nichts. Ziel sind Informationen, mit denen die jeweiligen Adressaten etwas anfangen können.

Was sagt Artikel 22 der DSGVO zu automatisierten Entscheidungen?

Artikel 22 der DSGVO gibt jeder Person das Recht, nicht einer Entscheidung unterworfen zu werden, die ausschließlich auf einer automatisierten Verarbeitung beruht und rechtliche oder ähnlich erhebliche Wirkung hat. Ist eine solche Entscheidung zulässig, weil sie für einen Vertrag erforderlich ist oder auf einer ausdrücklichen Einwilligung beruht, muss der Verantwortliche Schutzvorkehrungen vorsehen, mindestens das Recht auf Eingreifen einer Person, auf Darlegung des eigenen Standpunkts und auf Anfechtung der Entscheidung.

Gibt der EU AI Act ein Recht auf Erläuterung einer KI-Entscheidung?

Bei Hochrisiko-Systemen kann nach dem EU AI Act (Verordnung (EU) 2024/1689) eine Person, die einer Entscheidung mit rechtlicher Wirkung oder ähnlich erheblicher Beeinträchtigung unterliegt und sie als nachteilig ansieht, vom Betreiber eine klare und aussagekräftige Erläuterung der Rolle des Systems bei der Entscheidung und ihrer wichtigsten Elemente erhalten (Artikel 86). Zu den Hochrisiko-Systemen zählen die Bonitätsbewertung natürlicher Personen, die Personalauswahl und der Zugang zu Bildung.

Wann ist die Erklärung einer automatisierten Entscheidung aussagekräftig?

Eine aussagekräftige Erklärung sagt, dass ein automatisiertes System eingesetzt wurde und für welchen Teil der Entscheidung. Sie nennt die wichtigsten Faktoren hinter dem Ergebnis in verständlicher Sprache, sagt, was sich ändern müsste, damit ein anderes Ergebnis herauskommt, sofern das realistisch ist, und erklärt, wie man eine Person erreicht, die Daten korrigiert und das Ergebnis anficht.

Zitiervorschlag LASTHUMAN-Stiftung. (2026, 15. September). Vertrauen aufbauen: Transparenz bei KI-Entscheidungen. https://lasthuman.today/de/insights/transparency-in-ai-decision-making.html