Essay 2026 · 08 6 Min.

Eine Sachbearbeiterin prüft an einem Vormittag zwanzig Fälle. Zwanzigmal schlägt das Fachverfahren eine Einstufung vor — eine Risikoklasse, eine Priorität, eine Leistungshöhe. Zwanzigmal ist der Vorschlag plausibel. Zwanzigmal bestätigt sie. Beim einundzwanzigsten Fall ist der Vorschlag falsch. Sie bestätigt auch ihn.

Nach der Aktenlage hat ein Mensch entschieden. Tatsächlich hat der Mensch einem Modell zugestimmt, dessen Zustandekommen er nicht kennt und dessen Ergebnis er nicht mehr wirklich prüft. Das ist kein Sorgfaltsversagen einer einzelnen Person. Es ist eine Haltung, sie ist weit verbreitet, und sie hat einen Namen.

Meine These

Die Debatte über menschliche Aufsicht bei KI dreht sich um Zuständigkeiten, Freigabestufen und Vier-Augen-Prinzipien. Das sind die richtigen Fragen, aber sie greifen zu kurz. Das eigentliche Hindernis ist nicht organisatorisch, sondern psychologisch: Wir trauen dem Modell mehr zu als uns selbst. Eine Aufsicht, die diese Asymmetrie nicht bearbeitet, ist auf dem Papier zugewiesen und in der Praxis nicht vorhanden.

Günther Anders' Punkt

Anders beschreibt in Die Antiquiertheit des Menschen ein Gefühl, das er „prometheische Scham“ nennt: die Verlegenheit des Menschen angesichts der „beschämend“ hohen Qualität der Dinge, die er selbst gemacht hat. Der Mensch ist geboren, nicht konstruiert — fehlbar, ermüdbar, langsam. Die Maschine erscheint dagegen makellos. Vor ihr kommt einem das eigene Urteil dilettantisch vor.

Anders' Pointe ist nicht die Technikangst. Sie ist die Selbstabwertung. Wer sich vor der eigenen Apparatur schämt, verteidigt seine Position nicht — er räumt sie. Übertragen auf die Verwaltung: Wer glaubt, das statistische Modell „sieht mehr als ich“, der widerspricht ihm nicht, sondern sucht im Zweifel den Fehler bei sich. Genau das ist der Mechanismus, den eine wirksame Aufsicht überwinden müsste.

Was KI daran verschärft

Erstens: Der Output tarnt sich als Tatsache. Das Modell liefert eine Zahl, eine Klasse, eine Rangfolge. Das wirkt objektiv und alternativlos — „so ist die Datenlage“. Dass in Merkmalsauswahl, Schwellenwerten und Trainingsdaten fachliche und politische Entscheidungen stecken, ist im fertigen Ergebnis nicht mehr sichtbar. Man widerspricht einer Meinung leichter als einer Messung.

Zweitens: Zuverlässigkeit erzeugt Nachlässigkeit. Je besser das Modell im Schnitt trifft, desto seltener lohnt sich aus Sicht der Bearbeitung die genaue Prüfung — und desto teurer, unbequemer und begründungsbedürftiger fühlt sich der Widerspruch an, wenn er doch nötig wäre. Die Verhaltensforschung nennt das „automation complacency“: Die Wachsamkeit sinkt genau in dem Maß, in dem das System vertrauenswürdig wirkt.

Drittens: Die Verantwortung bleibt formal beim Menschen, die Prüftiefe wandert zum Modell. Am Ende steht eine menschliche Unterschrift unter einer Entscheidung, die der Mensch nicht mehr durchdrungen hat. Die Aufsicht wird zur Fiktion — nicht weil jemand seine Pflicht verletzt, sondern weil die Pflicht so definiert ist, dass ihre Erfüllung nicht mehr messbar ist.

Der Fall, den man kennen sollte

2020 setzte die britische Prüfungsbehörde Ofqual einen Algorithmus ein, um Abschlussnoten zu vergeben, nachdem die Prüfungen pandemiebedingt ausgefallen waren. Das Modell stützte sich stark auf die historischen Ergebnisse der jeweiligen Schule. Rund 40 Prozent der von Lehrkräften vorgeschlagenen Noten wurden herabgestuft — überproportional an staatlichen Schulen in benachteiligten Regionen, während kleine Kurse an Privatschulen tendenziell profitierten.

Die Lehrereinschätzungen lagen vor. Sie wurden dem Modelloutput untergeordnet, nicht umgekehrt. Erst nach Tagen öffentlicher Proteste nahm die Regierung die algorithmischen Noten zurück und kehrte zu den Lehrerprognosen zurück. Der Premierminister nannte es später einen „mutant algorithm“ — eine bequeme Formulierung, die so tut, als hätte niemand die Gewichtung so entworfen.

Was das Recht dazu sagt

Der EU AI Act verlangt in Artikel 14 für Hochrisiko-KI eine wirksame menschliche Aufsicht und benennt ausdrücklich die Gefahr des „Automatisierungsbias“ — der Neigung, sich zu sehr auf den Output zu verlassen. Die aufsichtsführende Person muss den Output richtig interpretieren, die Grenzen des Systems verstehen und die Entscheidung übergehen können.

Der EuGH hat im SCHUFA-Urteil (C-634/21, Dezember 2023) klargestellt: Schon das Erzeugen eines Scores, auf den sich die spätere Entscheidung maßgeblich stützt, ist selbst die relevante Entscheidung. Die Verantwortung lässt sich nicht dadurch abstreifen, dass am Ende noch ein Mensch auf „Bestätigen“ klickt. Das Recht kennt die leere Aufsicht — und akzeptiert sie nicht als Freibrief.

Was daraus folgt

• —Widerspruch zur Normalhandlung machen. Die Prüfung so gestalten, dass Abweichen vom Modell der reguläre Weg ist und keine Rechtfertigung auslöst. Wer nur bei Widerspruch begründen muss, widerspricht seltener.
• —Prüftiefe messen, nicht Durchlaufquote. Eine Aufsicht, deren einzige Kennzahl der Durchsatz ist, optimiert gegen sich selbst.
• —Aufsichtspersonen befähigen, ohne das Modell zu entscheiden. Wer den Fall nicht auch allein beurteilen kann, prüft nicht, sondern nickt ab.
• —Stichprobenhafte Rückwärtsprüfung. Regelmäßig bestätigte Fälle unabhängig nachrechnen — nicht um Schuld zu verteilen, sondern um zu sehen, ob die Aufsicht real ist.
• —Die Modellunsicherheit sichtbar machen. Ein Konfidenzintervall neben der Zahl erinnert daran, dass es eine Schätzung ist.

Der eigentliche Punkt

Die prometheische Scham ist keine Marotte einzelner Beschäftigter. Sie ist eine strukturelle Reaktion auf Systeme, die perfekter wirken, als sie sind. Solange eine Organisation die menschliche Aufsicht als Häkchen definiert und nicht als geschützte, geschulte, gemessene Tätigkeit, delegiert sie das Urteil an die Maschine und behält nur die Unterschrift.

Vor welcher Maschine in Ihrer Organisation schämt sich das menschliche Urteil bereits — und wer hat das je gemessen?