KI-Governance erklärt

KI-Governance ist das Geflecht aus Gesetzen, Standards, Institutionen und Normen, das festlegt, wie KI gebaut und genutzt werden darf und wer die Verantwortung trägt, wenn etwas schiefgeht. Dieser Artikel ordnet die wichtigsten Instrumente und Akteure ein und zeigt, was sie für eine Schule, ein Krankenhaus oder eine Stadtverwaltung bedeuten.

Vier Ebenen statt eines einzigen Regelwerks

Governance stellt man sich oft als ein einziges Gesetz vor. In der Praxis wirkt sie über mehrere Ebenen, die einander verstärken, und eine Lücke auf der einen Ebene wird meist von einer anderen gefüllt, mal gut, mal schlecht.

• Verbindliches Recht: Pflichten, deren Einhaltung durchgesetzt wird, etwa die KI-Verordnung der EU (EU AI Act) oder das Datenschutzrecht.
• Standards und Rahmenwerke: gemeinsame Methoden, die rechtliche Pflichten in prüfbare Praxis übersetzen.
• Institutionen: Regulierungsbehörden, Aufsichtsstellen und Gerichte, die auslegen, überwachen und durchsetzen.
• Normen: Berufsethik, interne Richtlinien und öffentliche Erwartungen, die das Verhalten prägen, noch bevor eine Aufsichtsbehörde tätig wird.

Verbindliches Recht: die KI-Verordnung und ihr Umfeld

Die KI-Verordnung der EU, Verordnung (EU) 2024/1689, ist seit dem 1. August 2024 in Kraft; sie ist der erste umfassende verbindliche Rechtsakt zu KI und gilt gestaffelt nach Risiko. Einige wenige Praktiken sind seit dem 2. Februar 2025 verboten, und Anbieter von KI-Modellen mit allgemeinem Verwendungszweck haben seit dem 2. August 2025 eigene Pflichten. Systeme, die für in der Verordnung aufgeführte Zwecke in Bereichen wie Beschäftigung, Bildung, Kreditwürdigkeitsprüfung, öffentliche Leistungen und Strafverfolgung eingesetzt werden, gelten als Hochrisiko-KI-Systeme und müssen Anforderungen an Risikomanagement, Datenqualität, Dokumentation, menschliche Aufsicht und Robustheit erfüllen. Diese Anforderungen sollten ab dem 2. August 2026 gelten, für Hochrisiko-KI in Produkten, die bereits unter EU-Produktvorschriften fallen, etwa Medizinprodukten, ab dem 2. August 2027; im Juli 2026 verschob eine Änderungsverordnung, der digitale Omnibus zu KI (Verordnung (EU) 2026/1744), sie auf den 2. Dezember 2027 beziehungsweise den 2. August 2028.

Artikel 22 der DSGVO ergänzt dies um das Recht, keiner Entscheidung unterworfen zu werden, die ausschließlich auf einer automatisierten Verarbeitung beruht und rechtliche oder ähnlich erhebliche Wirkung entfaltet, mit Ausnahmen und Schutzvorkehrungen wie dem Eingreifen einer Person. Über die EU hinaus ist das Rahmenübereinkommen des Europarats über künstliche Intelligenz, im September 2024 zur Unterzeichnung aufgelegt, der erste rechtsverbindliche internationale Vertrag zu KI; es verpflichtet die Staaten, die es ratifizieren, Menschenrechte, Demokratie und Rechtsstaatlichkeit zu schützen.

Standards: Aus Pflichten werden Nachweise

Gesetze schreiben meist Ergebnisse vor, nicht Methoden; Standards übersetzen eine Pflicht wie das Risikomanagement in Tests, Aufzeichnungen und Nachweise. ISO/IEC 42001 (2023) ist eine Managementsystemnorm für KI: Eine Organisation legt Richtlinien fest, weist Rollen zu, bewertet Risiken und verbessert sich fortlaufend. Das NIST AI Risk Management Framework 1.0 (Januar 2023) ist ein freiwilliges US-Rahmenwerk, das auf vier Funktionen aufbaut: Govern, Map, Measure und Manage (steuern, erfassen, messen, bewältigen). In der EU begründen harmonisierte Normen, die die Kommission in Auftrag gegeben hat, nach ihrer Veröffentlichung im Amtsblatt der Europäischen Union eine Konformitätsvermutung für Anbieter, und der Praxisleitfaden für KI mit allgemeinem Verwendungszweck (General-Purpose AI Code of Practice, 2025), der unter Moderation des EU-Büros für Künstliche Intelligenz (AI Office) erarbeitet wurde, bietet Modellanbietern einen vergleichbaren Weg, die Einhaltung der Vorschriften zu belegen.

Wer zum Beispiel Bias in einem Modell für Einstellungsverfahren oder Kreditvergabe erkennen will, braucht in der Regel sensible Merkmale wie ethnische Herkunft oder Gesundheitszustand. Der 2026 eingefügte Artikel 4a der KI-Verordnung erlaubt die Verarbeitung solcher Daten zur Erkennung und Korrektur von Bias nur unter Schutzvorkehrungen und nur dort, wo synthetische oder anonymisierte Daten nicht ausreichen würden. Der technische Bericht der Stiftung zur Bias-Erkennung nach Artikel 4a der KI-Verordnung untersucht, wann synthetische, anonymisierte oder mit Differential Privacy geschützte Daten ausreichen und wo sie an ihre Grenzen stoßen.

Institutionen: wer auslegt, überwacht und durchsetzt

In der EU beaufsichtigt das Büro für Künstliche Intelligenz innerhalb der Europäischen Kommission KI-Modelle mit allgemeinem Verwendungszweck und koordiniert die Umsetzung; nationale Marktüberwachungsbehörden überwachen Hochrisikosysteme; notifizierte Stellen prüfen bestimmte Hochrisikosysteme vor dem Inverkehrbringen; Datenschutzbehörden setzen die DSGVO durch; Gerichte entscheiden strittige Fälle.

Internationale Institutionen koordinieren überwiegend, statt Regeln durchzusetzen. Die KI-Grundsätze der OECD (2019, aktualisiert 2024) waren der erste zwischenstaatliche Standard zu KI, und die UNESCO-Empfehlung zur Ethik der künstlichen Intelligenz (2021) hat diesen Konsens auf eine breitere Grundlage gestellt. Die KI-Gipfel in Bletchley Park (2023) und Seoul (2024) brachten Regierungen und Entwickler zu den Risiken der leistungsfähigsten Modelle (Frontier-Modelle) an einen Tisch, und mehrere Länder haben KI-Sicherheitsinstitute eingerichtet. Der KI-Aktionsgipfel in Paris (AI Action Summit, 2025) verlagerte den Schwerpunkt anschließend auf inklusive und nachhaltige KI. Keine dieser Institutionen kann ein Unternehmen mit einer Geldbuße belegen; sie wirken über Selbstverpflichtungen, gegenseitigen Druck und technische Vorarbeiten, die später in Gesetze einfließen können.

Die Zielkonflikte, denen kein Rahmenwerk entkommt

Jede Ausgestaltung wägt konkurrierende Güter gegeneinander ab. Detaillierte Regeln schaffen Rechtssicherheit, altern aber schnell; allgemeine Grundsätze passen sich an, lassen Organisationen aber im Ungewissen. Prüfungen vor dem Inverkehrbringen fangen Probleme früh ab, kosten aber Zeit und begünstigen tendenziell größere Unternehmen; Haftung nach eingetretenem Schaden ist zunächst günstiger, behebt ihn aber erst spät. Nach der KI-Verordnung treffen die meisten Pflichten die Anbieter, doch Betreiber (Deployer) müssen ein System dennoch wie vorgegeben nutzen, die menschliche Aufsicht geschultem Personal übertragen und es im Einsatz überwachen, oft mit kleinen Teams.

Eine Stadtverwaltung, die Anträge auf Sozialleistungen mit einem Scoring-Werkzeug in eine Rangfolge bringt, bewegt sich in einem Bereich, den die KI-Verordnung als hochriskant einstuft; fallen Entscheidungen ohne maßgebliche menschliche Beteiligung, greift bereits Artikel 22 der DSGVO. Für ein Krankenhaus, das Diagnosesoftware kauft, die selbst ein Medizinprodukt ist oder in eines eingebaut ist, gilt die längere Übergangsfrist bis 2028, weil das Produkt bereits den EU-Produktvorschriften unterliegt. Eine Schule, die ein KI-Tutoring-Angebot einführt, ist in der Regel Betreiber, nicht Anbieter, was ihre Pflichten verändert und auch das, was sie von ihrem Lieferanten verlangen sollte.

Was daraus folgt

Für alle, die ein KI-System kaufen, bauen oder beaufsichtigen, läuft Governance im Wesentlichen auf drei Dinge hinaus.

• Rolle: ob die Organisation Anbieter, Betreiber oder beides ist.
• Risikokategorie: welche zutrifft und welche Pflichten daraus folgen.
• Nachweise: was sie morgen vorlegen könnte, um zu belegen, dass das System wie behauptet funktioniert.

Diese Antworten aufzuschreiben und sie zu überprüfen, wenn sich die Regeln ändern, ist eine Gewohnheit, mit der jede Organisation schon jetzt beginnen kann. Die Stiftung untersucht, wie die KI-Verordnung in der Praxis funktioniert und welche technischen Nachweise sie von Anbietern verlangt, und veröffentlicht ihre Ergebnisse in Research & Insights.

Kurz gesagt

KI-Governance ist das Geflecht aus Gesetzen, Standards, Institutionen und Normen, das festlegt, wie KI gebaut und genutzt werden darf und wer die Verantwortung trägt, wenn etwas schiefgeht. Sie wirkt über vier Ebenen: verbindliches Recht wie die KI-Verordnung der EU (EU AI Act), Standards und Rahmenwerke, Institutionen wie Regulierungsbehörden und Gerichte sowie Normen wie Berufsethik und interne Richtlinien.

Häufige Fragen

Was ist der EU AI Act und ab wann gilt er?

Der EU AI Act, die Verordnung (EU) 2024/1689, ist der erste umfassende verbindliche Rechtsakt zu KI und seit dem 1. August 2024 in Kraft. Er gilt gestaffelt nach Risiko. Einige wenige Praktiken sind seit dem 2. Februar 2025 verboten, und Anbieter von KI-Modellen mit allgemeinem Verwendungszweck haben seit dem 2. August 2025 eigene Pflichten.

Hat die EU die Hochrisiko-Anforderungen des AI Act verschoben?

Ja. Die Hochrisiko-Anforderungen sollten ab dem 2. August 2026 gelten, für Hochrisiko-KI in Produkten, die bereits unter EU-Produktvorschriften fallen, etwa Medizinprodukten, ab dem 2. August 2027. Im Juli 2026 verschob der digitale Omnibus zu KI (Verordnung (EU) 2026/1744) sie auf den 2. Dezember 2027 beziehungsweise den 2. August 2028.

Was unterscheidet ISO/IEC 42001 vom NIST AI Risk Management Framework?

ISO/IEC 42001 (2023) ist eine Managementsystem-Norm für KI: Eine Organisation legt Richtlinien fest, verteilt Rollen, bewertet Risiken und verbessert sich laufend. Das NIST AI Risk Management Framework 1.0 (Januar 2023) ist ein freiwilliges US-Rahmenwerk mit vier Funktionen: steuern (govern), erfassen (map), messen (measure) und handhaben (manage).

Wer setzt die KI-Regeln in der EU durch?

In der EU beaufsichtigt das AI Office der Europäischen Kommission die KI-Modelle mit allgemeinem Verwendungszweck und koordiniert die Umsetzung. Nationale Marktüberwachungsbehörden überwachen Hochrisiko-Systeme, notifizierte Stellen prüfen bestimmte davon vor dem Inverkehrbringen, Datenschutzbehörden setzen die DSGVO durch, und Gerichte entscheiden strittige Fälle.

Ist eine Schule, die einen KI-Nachhilfedienst nutzt, Anbieter oder Betreiber?

Eine Schule, die einen KI-Nachhilfedienst einführt, ist in der Regel Betreiber und nicht Anbieter. Das verändert ihre Pflichten und das, was sie ihren Lieferanten fragen sollte. Nach dem AI Act liegen die meisten Pflichten bei den Anbietern, doch Betreiber müssen ein System weiterhin anweisungsgemäß nutzen, die menschliche Aufsicht geschultem Personal übertragen und das System im Einsatz überwachen.

Zitiervorschlag LASTHUMAN-Stiftung. (2026, 12. August). KI-Governance erklärt. https://lasthuman.today/de/insights/ai-governance-explained.html