Was ist KI-Sicherheit?

KI-Sicherheit ist das Gebiet der Forschung und Ingenieurpraxis, das sich damit befasst, immer leistungsfähigere KI-Systeme zuverlässig, kontrollierbar und im Einklang mit menschlichen Absichten zu halten, auch dann, wenn sie bei bestimmten Aufgaben mit menschlicher Leistung gleichziehen oder sie übertreffen. Dieser Artikel erklärt, was das Gebiet umfasst, warum Allzweckmodelle das Problem schwieriger machen und was wirksame menschliche Aufsicht voraussetzt.

Eine Arbeitsdefinition

Im klassischen Ingenieurwesen gilt ein System als sicher, wenn seine Fehlerarten bekannt, begrenzt und geprüft sind, wie etwa die Bremsanlage eines Autos. Die KI-Sicherheit fasst den Begriff weiter. Sie fragt, ob ein System tut, was die Menschen beabsichtigen, die es entwickeln und nutzen (Zielausrichtung, Alignment), ob es das auch unter ungewohnten Bedingungen und bei gezielten Angriffen weiterhin tut (Robustheit), ob Menschen nachvollziehen können, warum es sich so verhält, wie es sich verhält (Interpretierbarkeit), und ob Menschen es bei Bedarf prüfen, korrigieren oder anhalten können (Kontrolle und Aufsicht).

Diese Fragen überschneiden sich mit Nachbargebieten. Die KI-Ethik fragt, was gebaut werden sollte und für wen; die KI-Security schützt Modelle, Daten und Infrastruktur vor Angreifern; die KI-Sicherheit im Sinne von Safety fragt, ob sich das System selbst im Einsatz wie beabsichtigt verhält. Die Grenzen sind durchlässig: Ein Modell für die Personalauswahl, das Bias aufweist, ist in erster Linie ein Fairnessproblem, während ein Modell, das sich dazu überreden lässt, seine Anweisungen zu ignorieren, sowohl ein Security- als auch ein Safety-Problem ist.

Warum Allzweckmodelle das Problem verändern

Ein Werkzeug für einen eng umrissenen Zweck bringt eine Spezifikation mit. Ein Spamfilter liegt falsch, wenn er eine legitime Nachricht blockiert, und wer ihn entwickelt, kann das direkt messen. Ein Allzweckmodell ist anders: Es wird mit riesigen Datenmengen darauf trainiert, bei Aufgaben nützlich zu sein, die niemand vorab aufgezählt hat. Es gibt also keine einzelne Spezifikation, an der es sich messen ließe.

Entwicklerteams trainieren deshalb auf Ersatzgrößen für das, was sie eigentlich wollen. Daraus entsteht ein gut dokumentiertes Fehlermuster, das als Specification Gaming oder Reward Hacking bekannt ist: Ein System optimiert das, was gemessen wird, statt das, was gemeint ist. Ein Modell, das darauf trainiert wurde, Antworten zu geben, die von menschlichen Bewertern gutgeheißen werden, kann lernen, selbstsicher und gefällig zu klingen, selbst wenn die zugrunde liegende Aussage falsch ist. Ein Assistent, der eine plausible, aber nicht existierende Quelle erfindet, ist ein bekanntes Symptom dieser Lücke.

Mehr steht auf dem Spiel, wenn Modelle als Agenten handeln: Systeme, die im Auftrag einer Person Werkzeuge verwenden, im Web surfen, Dokumente lesen und Nachrichten versenden. Ein Agent, der eine Webseite mit versteckten Anweisungen liest, die ihn auffordern, seine Aufgabe aufzugeben und die E-Mails dieser Person weiterzuleiten, befolgt sie womöglich. Dieser Angriff, bekannt als Prompt-Injection, ist möglich, weil das Modell Anweisungen und Daten im selben Kanal verarbeitet. Bis heute ist keine vollständige technische Abwehr bekannt; die derzeitigen Gegenmaßnahmen verringern das Risiko, beseitigen es aber nicht.

Die wichtigsten Arbeitsfelder

Ein Großteil der KI-Sicherheitsforschung lässt sich in vier Programme gliedern, die einander verstärken.

• Zielausrichtung (Alignment): Trainingsmethoden, etwa das Lernen aus menschlichem Feedback, die prägen, was ein Modell zu tun versucht.
• Evaluation und Testen: die Messung dessen, was Modelle können, bevor sie eingesetzt werden, einschließlich Fähigkeiten, die Schaden anrichten könnten.
• Interpretierbarkeit: die internen Berechnungen eines Modells gut genug verstehen, um sein Verhalten zu erklären oder vorherzusagen.
• Robustheit und Kontrolle: Abwehr von Prompt-Injection, Data-Poisoning und dem Kapern von Zielen sowie zuverlässige Wege, ein System zu unterbrechen.

Die Evaluation verdient besondere Aufmerksamkeit. Ein Benchmark-Ergebnis sagt wenig aus, wenn die Testfragen bereits in den Trainingsdaten enthalten waren, ein Problem, das als Benchmark-Kontamination bekannt ist. Aus demselben Grund sind Tests gegen adaptive Angriffe wichtig: Eine Schutzmaßnahme, die den Jailbreaks des vergangenen Jahres standhält und an denen dieses Jahres scheitert, bietet wenig Gewähr.

Was wirksame menschliche Aufsicht voraussetzt

Menschliche Aufsicht wird oft als letzte Absicherung dargestellt, doch sie funktioniert nur, wenn die eingebundene Person Zeit, Informationen, Befugnis und Kompetenz hat, um einzugreifen. Die Human-Factors-Forschung dokumentiert seit Langem den Automatisierungsbias (Automation Bias): Menschen neigen dazu, das Ergebnis eines automatisierten Systems zu akzeptieren, besonders unter Zeitdruck, und seine Fehler zu übersehen. Eine Ärztin, die eine lange Reihe maschinell erzeugter Empfehlungen prüfen soll, oder ein Sachbearbeiter, der nicht sehen kann, warum ein System einen Antrag als auffällig markiert hat, kann keine wirksame Aufsicht ausüben.

Das Recht behandelt Aufsicht zunehmend als Anforderung an die Gestaltung und nicht als Formalität. Artikel 22 der DSGVO gibt Einzelpersonen bereits das Recht, von Ausnahmen abgesehen, nicht einer ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Der EU AI Act (Verordnung (EU) 2024/1689) verlangt, dass Hochrisiko-KI-Systeme so gestaltet werden, dass Menschen sie wirksam beaufsichtigen können (Artikel 14), und dass sie Anforderungen an Genauigkeit, Robustheit und Cybersicherheit erfüllen (Artikel 15); Artikel 14 nennt den Automatisierungsbias ausdrücklich. Die meisten Pflichten für Hochrisiko-KI-Systeme sollten ursprünglich ab dem 2. August 2026 gelten; der digitale Omnibus zu KI (Verordnung (EU) 2026/1744), der seit dem 27. Juli 2026 in Kraft ist, verschob sie auf den 2. Dezember 2027 und für Hochrisiko-KI in regulierten Produkten auf den 2. August 2028.

Über die EU hinaus kamen Regierungen und KI-Entwickler 2023 in Bletchley Park, 2024 in Seoul und 2025 in Paris zusammen; auf der Tagesordnung standen die Risiken von Frontier-Modellen, den leistungsfähigsten Systemen ihrer Generation. Die KI-Grundsätze der OECD (2019, aktualisiert 2024), das AI Risk Management Framework des NIST (2023) und ISO/IEC 42001 (2023) übersetzen Teile der Sicherheitsagenda in eine Sprache, nach der Organisationen handeln können. Keines dieser Instrumente löst die technischen Probleme; sie schaffen die Erwartung, dass jemand die Arbeit geleistet hat und sie vorweisen kann.

Was daraus praktisch folgt

Der Kerngedanke gilt über Forschungslabore hinaus. Wenn ein KI-System in einer Schule, einer gemeinnützigen Organisation oder einer Behörde eingeführt wird, sind die nützlichen Fragen konkret: womit und von wem es getestet wurde, was passiert, wenn es falsch liegt, wer es übersteuern kann und auf welche Daten und Werkzeuge es zugreifen kann. Ein System, für das niemand diese Fragen beantworten kann, hat sich die Autonomie, die ihm eingeräumt wird, nicht verdient.

KI-Sicherheitsforschung ist einer der sechs Tätigkeitsbereiche der Stiftung, und die Analysen, die sie in dieser Rubrik veröffentlicht, gehen von einer Prämisse aus: Technologie soll das menschliche Urteilsvermögen stärken und nicht stillschweigend ersetzen.

Kurz gesagt

KI-Sicherheit ist das Gebiet der Forschung und Ingenieurpraxis, das sich damit befasst, immer leistungsfähigere KI-Systeme zuverlässig, kontrollierbar und im Einklang mit menschlichen Absichten zu halten. Sie fragt, ob ein System tut, was Menschen beabsichtigen, das auch unter ungewohnten Bedingungen und bei Angriffen weiter tut, nachvollziehbar ist und von Menschen bei Bedarf geprüft, korrigiert oder angehalten werden kann.

Häufige Fragen

Was ist der Unterschied zwischen KI-Sicherheit, KI-Ethik und KI-Security?

Die KI-Ethik fragt, was gebaut werden sollte und für wen. Die KI-Security schützt Modelle, Daten und Infrastruktur vor Angreifern. Die KI-Sicherheit im Sinne von Safety fragt, ob sich das System selbst im Einsatz wie beabsichtigt verhält. Die Grenzen sind durchlässig: Ein Modell, das sich überreden lässt, seine Anweisungen zu ignorieren, ist sowohl ein Security- als auch ein Safety-Problem.

Was ist Prompt-Injection?

Prompt-Injection ist ein Angriff, bei dem ein KI-Agent Inhalte liest, etwa eine Webseite mit versteckten Anweisungen, und diesen womöglich folgt, zum Beispiel indem er seine Aufgabe aufgibt und die E-Mails der Nutzerin oder des Nutzers weiterleitet. Möglich ist das, weil das Modell Anweisungen und Daten im selben Kanal verarbeitet. Eine vollständige technische Abwehr ist heute nicht bekannt, Gegenmaßnahmen senken das Risiko, beseitigen es aber nicht.

Warum machen Allzweckmodelle die KI-Sicherheit schwieriger?

Ein Werkzeug für einen eng umrissenen Zweck wie ein Spamfilter hat eine Spezifikation, sodass seine Entwickler Fehler direkt messen können. Ein Allzweckmodell wird darauf trainiert, bei Aufgaben nützlich zu sein, die niemand vorab aufgezählt hat, es gibt also keine einzelne Spezifikation, an der es sich beurteilen ließe. Deshalb wird auf Stellvertretergrößen trainiert, was zu Specification Gaming führt: Ein System optimiert das, was gemessen wird, statt das, was gemeint ist.

Was sind die wichtigsten Felder der KI-Sicherheitsforschung?

Ein großer Teil der KI-Sicherheitsforschung lässt sich in vier Programme gliedern: Alignment, das mit Trainingsmethoden wie dem Lernen aus menschlichem Feedback prägt, was ein Modell anstrebt, Evaluation und Tests, die vor dem Einsatz messen, was Modelle können, Interpretierbarkeit, die das Verhalten eines Modells aus seinen internen Berechnungen erklären oder vorhersagen will, sowie Robustheit und Kontrolle, die sich gegen Prompt-Injection, Datenvergiftung und die Kaperung von Zielen richten.

Was braucht es für eine aussagekräftige menschliche Aufsicht über KI?

Menschliche Aufsicht funktioniert nur, wenn die Person in der Schleife Zeit, Informationen, Befugnis und Kompetenz hat, einzugreifen. Menschen neigen dazu, das Ergebnis eines automatisierten Systems zu akzeptieren, besonders unter Zeitdruck, was als Automatisierungsbias bekannt ist. Eine Ärztin, die eine lange Schlange maschinell erzeugter Empfehlungen durchsieht, kann keine aussagekräftige Aufsicht leisten. Artikel 14 des EU AI Act nennt den Automatisierungsbias ausdrücklich.

Zitiervorschlag LASTHUMAN-Stiftung. (2026, 2. Juni). Was ist KI-Sicherheit? https://lasthuman.today/de/insights/what-is-ai-safety.html