So überwachen Sie KI-Systeme nach der EU-KI-Verordnung
Sobald ein KI-System im Einsatz ist, fragt das Recht nicht mehr „wurde es korrekt gebaut?“, sondern „verhält es sich noch korrekt?“. Nach der EU-KI-Verordnung ist die Überwachung eines im Einsatz befindlichen KI-Systems eine fortlaufende Rechtspflicht, kein optionales Extra. Dieser Leitfaden behandelt, was zu überwachen ist, wer verantwortlich ist, wie Sie den Aufwand an das Risikoniveau des Systems anpassen — und eine Unterscheidung, an der die meisten Teams scheitern: Ein KI-System zu überwachen ist nicht dasselbe wie die Menschen zu überwachen, die es nutzen.
Überwachung ist eine Rechtspflicht, kein Zusatz
Mehrere Artikel der KI-Verordnung machen, zusammen gelesen, eine fortlaufende Überwachung von Hochrisiko-KI-Systemen verpflichtend:
- Beobachtung nach dem Inverkehrbringen (Artikel 72) — Anbieter müssen Daten zur Leistung des Systems über dessen gesamte Lebensdauer aktiv und systematisch erheben, dokumentieren und auswerten, um die fortlaufende Konformität zu bestätigen.
- Automatische Protokollierung (Artikel 12 und 19) — Hochrisiko-Systeme müssen Ereignisse über ihre Lebensdauer automatisch aufzeichnen, und die Protokolle sind mindestens sechs Monate aufzubewahren.
- Überwachung durch den Betreiber (Artikel 26) — Organisationen, die ein Hochrisiko-System einsetzen, müssen dessen Betrieb anhand der Betriebsanleitung überwachen und Risiken oder schwerwiegende Vorfälle melden.
- Genauigkeit und Robustheit über den Lebenszyklus (Artikel 15) — Die angegebenen Leistungswerte müssen im Betrieb dauerhaft eingehalten werden, nicht nur am Tag der Markteinführung.
- Menschliche Aufsicht (Artikel 14) — Die Aufsicht muss während der Nutzung des Systems wirksam bleiben, mit der Möglichkeit, Ausgaben zu interpretieren, einzugreifen und das System zu stoppen.
- Meldung schwerwiegender Vorfälle (Artikel 73) — Vorfälle, die schweren Schaden verursachen, sind den Behörden unverzüglich und spätestens 15 Tage nach Kenntnisnahme zu melden.
Die zehn Dimensionen der KI-System-Überwachung
Fachlich bedeutet die Überwachung eines KI-Systems, zehn Dimensionen über seine Lebensdauer zu beobachten. Sie brauchen kein Data-Science-Team: Die meisten lassen sich aus Protokollen und Prüfungen ablesen, die eine Compliance-Verantwortliche ohnehin kontrolliert.
| Dimension | Was Sie beobachten | Ein KPI, den Sie wirklich berichten können |
|---|---|---|
| Leistung vs. Ausgangswert | Tatsächliche Genauigkeit oder Qualität gegenüber dem bei Inbetriebnahme angegebenen Wert | Beobachtete vs. angegebene Genauigkeit (z. B. 92% → 88,5%, −3,5 PP) |
| Daten- und Konzeptdrift | Ob sich Eingaben — und der Zusammenhang zwischen Eingabe und Ergebnis — vom Training entfernt haben | Drift-Wert je Schlüsselmerkmal vs. Schwellenwert; % der Eingaben außerhalb der Verteilung |
| Datenqualität | Integrität der eingehenden Daten, bevor das Modell sie verarbeitet | % der Datensätze, die die Validierung bestehen; Null-/Veraltet-Rate; in Quarantäne gestellte Datensätze |
| Zuverlässigkeit und Latenz | Ob der Dienst als operatives System verfügbar und schnell genug ist | Verfügbarkeit % vs. SLA; p95-Latenz; technische Fehlerrate |
| Verzerrungen und Fairness | Ob Ergebnisse zwischen geschützten oder sensiblen Gruppen ungerechtfertigt abweichen | Disparität der Auswahlrate (80%-Regel); Lücke in der Fehlerrate zwischen Gruppen |
| Sicherheit und Missbrauch | Angriffe und Missbrauch: Prompt Injection, gegnerische Eingaben, Datenabfluss | Erkannte Jailbreak-Versuche; Auslöserate der Schutzmechanismen; blockierte Abflüsse |
| Menschliche Aufsicht | Dass eine Person Ausgaben sinnvoll beaufsichtigen und übersteuern kann | Übersteuerungsrate; % der folgenreichen Entscheidungen mit menschlicher Prüfung; Eskalationen |
| Vorfälle und Beinahe-Vorfälle | Schädliche oder falsche Ergebnisse und jene, die rechtzeitig abgefangen wurden | Vorfälle nach Schweregrad; Zeit bis Erkennung/Behebung; % fristgerecht gemeldet |
| Änderungen und Versionierung | Eine prüfbare Historie jeder Änderung am eingesetzten System | Aktive Version + Freigabedatum; % der Änderungen durch das Freigabe-Gate; Rollbacks |
| Regelmäßige Überprüfung | Eine geplante Neubestätigung, dass das System für seinen Zweck weiterhin geeignet ist | % fristgerechter Überprüfungen; Tage überfällig; Systeme mit gültiger aktueller Freigabe |
Wer überwacht was: Anbieter vs. Betreiber
Die Verantwortung teilt sich zwischen der Organisation, die das System baut (dem Anbieter), und der, die es nutzt (dem Betreiber). Viele Unternehmen sind beides — sie kaufen ein Modell und betten es in ihr eigenes Produkt ein.
Der Anbieter baut die Überwachungsfähigkeit in das System ein, führt die Beobachtung nach dem Inverkehrbringen durch, bewahrt die in seiner Kontrolle stehenden Protokolle auf, gibt die Genauigkeitswerte in der Betriebsanleitung an und meldet schwerwiegende Vorfälle an die Behörden.
Der Betreiber überwacht den laufenden Betrieb anhand der Betriebsanleitung, bewahrt seine eigenen Protokolle mindestens sechs Monate auf, informiert Anbieter und Behörden über Risiken oder Vorfälle und führt — bei öffentlichen Stellen und bestimmten Diensten — vor der Inbetriebnahme eine Grundrechte-Folgenabschätzung durch.
Im Verhältnis zum Risiko überwachen
Die KI-Verordnung ist risikobasiert, und so auch der Überwachungsaufwand. Wenden Sie nicht den gesamten Apparat auf jedes System an — passen Sie die Tiefe an das Risiko und an Ihre Größe an:
- Hochrisiko-Systeme (Anhang III) — der volle Umfang: ein dokumentierter Plan zur Beobachtung nach dem Inverkehrbringen, automatische Protokollierung, menschliche Aufsicht, KPIs zu Drift und Leistung sowie die Meldung schwerwiegender Vorfälle.
- Systeme mit begrenztem Risiko / reiner Transparenzpflicht — ein leichterer Ansatz: grundlegende Nutzungsverfolgung, ein benannter Aufsichtskontakt und eine regelmäßige Überprüfung, nicht der volle Apparat.
- KMU und kleine Mid-Caps — die Verordnung erlaubt ausdrücklich eine vereinfachte, verhältnismäßige Dokumentation und Qualitätssicherung. Dimensionieren Sie die Tiefe nach Risiko und Unternehmensgröße, statt überall zu maximieren.
Der Digital Omnibus (vorläufige Einigung, Mai 2026) hat die Hochrisiko-Pflichten auf den 2. Dezember 2027 (Anhang III) und den 2. August 2028 (Anhang I) verschoben und die verpflichtende Vorlage für den Überwachungsplan durch einen flexiblen Rahmen ersetzt. Die Lehre für jedes Überwachungskonzept: Bauen Sie eine konfigurierbare Grundlage, die Sie nachjustieren können, sobald Leitlinien erscheinen — kein Einmalsystem, das an eine feste Vorlage gebunden ist. (Diese Änderungen sind vereinbart, aber noch nicht endgültig veröffentlicht; behandeln Sie die Daten als nahezu endgültig, nicht als gesichert.)
System-Überwachung ist nicht Mitarbeiterüberwachung
Ein KI-System zu überwachen ist nicht dasselbe wie die Menschen zu überwachen, die KI nutzen. Ersteres beobachtet das Modell und seine Ausgaben und unterliegt der KI-Verordnung. Letzteres beobachtet Ihre eigene Belegschaft — wer welches KI-Werkzeug nutzt, wie viel und wofür — und das ist Überwachung am Arbeitsplatz, geregelt durch die DSGVO, die ePrivacy-Regeln und das nationale Arbeitsrecht, nicht durch die KI-Verordnung.
Die Nutzung eines Werkzeugs wie eines KI-Assistenten durch Mitarbeitende zu erfassen, erfordert in der Regel eine Rechtsgrundlage, eine Datenschutz-Folgenabschätzung, vorherige Transparenz und — in mehreren EU-Staaten — eine Betriebsvereinbarung, bevor Sie es einschalten (in Deutschland eine Betriebsvereinbarung nach § 87 Abs. 1 Nr. 6 BetrVG). Halten Sie die beiden Programme getrennt: unterschiedliche Verantwortliche, unterschiedliche Rechtsgrundlagen, unterschiedliche Nachweise. Mitarbeiterüberwachung unter „KI-Überwachung“ zu fassen, ist ein kostspieliger Fehler.
Wie gute Nachweise aussehen
Wenn ein Prüfer — oder zunehmend ein Anspruchsteller nach der überarbeiteten Produkthaftungsrichtlinie — fragt, wie Sie überwachen, sind dies die Artefakte, die antworten:
- Ein dokumentierter Plan zur Beobachtung nach dem Inverkehrbringen mit benannten KPIs, Schwellenwerten und einem Überprüfungsrhythmus.
- Zeitreihen der Messwerte und die Alarme, die beim Überschreiten eines Schwellenwerts ausgelöst wurden.
- Unveränderliche Protokolle der Systemnutzung und jeder menschlichen Übersteuerung oder jedes Eingriffs.
- Ein Vorfallregister mit Ursachenanalyse und Nachweis der fristgerechten Meldung an die Behörden.
- Ein unterzeichnetes Protokoll der regelmäßigen Überprüfung, das die verantwortliche Person und die Entscheidung zur Weiternutzung benennt.
Wie LandingRed hilft: LandingRed macht daraus ein funktionierendes System — einen Plan zur Beobachtung nach dem Inverkehrbringen je KI-System, KPI-Verfolgung mit Schwellenwert-Alarmen, die automatisch zu Vorfällen eskalieren, unveränderliche Protokolle nach Artikel 12 mit erzwungener Aufbewahrung, Aufzeichnungen zur menschlichen Aufsicht und ein auditfertiges Nachweispaket — dimensioniert auf das Risikoniveau jedes Systems.
LandingRed automatisiert all das
Hör auf, Compliance in Tabellen zu verwalten. Klassifiziere, dokumentiere, bewerte und überwache deine KI-Systeme aus einer Plattform.