Die Macht des Niemand
Warum automatisierte Entscheidungen in der Verwaltung ein Verantwortungsproblem schaffen, das kein Modell-Audit löst — und was Hannah Arendt damit zu tun hat.
Stellen Sie sich vor, Sie bekommen einen Bescheid. Eine Leistung wird gestrichen, eine Zahlung zurückgefordert, ein Antrag abgelehnt. Sie fragen nach dem Grund. Der Sachbearbeiter verweist auf das Fachverfahren. Die Fachaufsicht verweist auf die Rechtslage. Die Rechtslage verweist auf den Ermessensspielraum der Behörde. Und irgendwo in dieser Kette hat ein Risikomodell Sie als „auffällig“ eingestuft — aber wer dieses Modell wie parametrisiert hat und warum es in Ihrem Fall angeschlagen hat, kann Ihnen niemand sagen.
Sie sind einer Entscheidung unterworfen, die niemand getroffen hat. Und trotzdem ist sie gefallen.
Meine These
Die Debatte über KI in der Verwaltung dreht sich fast ausschließlich um das Modell: Ist der Trainingsdatensatz sauber? Ist der Bias dokumentiert? Gibt es ein Monitoring? Das sind richtige Fragen. Sie verfehlen aber das größere Risiko.
Wer KI in behördliche Entscheidungsprozesse einführt, verändert nicht nur ein Werkzeug. Er verteilt Verantwortung neu — und zwar so, dass am Ende oft niemand mehr die einzelne Entscheidung verantwortet. Hannah Arendt hat diese Herrschaftsform beschrieben, lange vor jeder KI. Sie nannte sie die Herrschaft des Niemand. Diese Herrschaft bekommt gerade eine technische Infrastruktur.
Arendts Punkt
Arendt beschreibt in Macht und Gewalt die Bürokratie als eine Herrschaftsform, in der die Macht so weit über Ämter, Regeln und Verfahren verteilt ist, dass sie nirgends mehr lokalisierbar ist. Ihr Satz dazu: Die Herrschaft des Niemand sei „nicht Nicht-Herrschaft“ — im Gegenteil, sie könne „eine der tyrannischsten“ Formen sein, weil es kein Gegenüber gibt, dem man widersprechen, das man zur Rechenschaft ziehen oder absetzen könnte.
Das Entscheidende ist nicht, dass niemand handelt. Es ist, dass jeder nur seinen Teil tut — Vorschrift befolgt, Vorgang weitergereicht, Zuständigkeit abgegeben — und für das Gesamtergebnis am Ende niemand einsteht. Die Entscheidung wirkt dann wie ein Naturereignis, wie der bloße Vollzug von Regeln. Sie ist aber immer noch das, was sie war: eine von Menschen zu verantwortende Wahl.
Was KI daran verschärft
Erstens: Die Entscheidung sieht aus wie Sachlogik. Ein statistisches Modell liefert eine Zahl, eine Risikoklasse, eine Rangfolge. Das wirkt objektiv und alternativlos — „so ist die Datenlage“. Dass in der Auswahl der Merkmale, der Schwellenwerte und der Trainingsdaten politische und fachliche Entscheidungen stecken, ist im fertigen Output nicht mehr sichtbar.
Zweitens: Die menschliche Aufsicht wird zur Fiktion. Artikel 14 der KI-Verordnung verlangt für Hochrisiko-Systeme eine wirksame menschliche Aufsicht — und benennt sogar ausdrücklich die Gefahr des „automation bias“, der Neigung, sich auf den Output zu verlassen. Das ist gut gemeint. Aber eine Vorschrift, die Aufsicht verlangt, stellt sie noch nicht her. Wer zwanzig Mal in Folge eine korrekte Modell-Einschätzung bestätigt hat, liest die einundzwanzigste weniger genau. Die formale Zuständigkeit bleibt beim Menschen. Die tatsächliche Prüftiefe nicht.
Drittens: Die Zurechnung zerfällt über die Kette. Der Fachverfahrenshersteller hat nur die Software geliefert. Das Data-Science-Team hat nur das Modell trainiert. Der Sachbearbeiter hat nur den Vorschlag bestätigt. Die Amtsleitung hat nur das Verfahren beschafft. Der Gesetzgeber hat nur den Rahmen gesetzt. Jeder Beitrag für sich ist klein und vertretbar. Das Ergebnis verantwortet niemand.
Der Fall, den man kennen sollte
Die niederländische Kindergeldaffäre ist das Lehrstück. Über Jahre stufte ein Risikoklassifizierungssystem der Steuerbehörde Familien als mutmaßliche Betrüger ein — unter anderem anhand der Staatsangehörigkeit als Risikomerkmal. Rund 26.000 Familien wurden zu Unrecht zur vollständigen Rückzahlung erhaltener Leistungen aufgefordert. Menschen verloren ihr Erspartes, ihre Wohnung, in einzelnen Fällen das Sorgerecht für ihre Kinder. Im Januar 2021 trat die Regierung Rutte III geschlossen zurück.
Es gab in diesem Fall kein böswilliges Subjekt. Es gab ein Modell, eine harte Rückforderungspraxis und eine Aufsicht, die dem Modell vertraute. Die Herrschaft des Niemand — mit realen Folgen für Zehntausende.
Was das Recht längst sagt
Bemerkenswert ist: Die Rechtsordnung traut dieser Konstruktion nicht. Sie hat das Problem vorausgesehen.
- —§ 35a VwVfG lässt einen vollständig automatisiert erlassenen Verwaltungsakt nur zu, wenn eine Rechtsvorschrift das ausdrücklich erlaubt und weder ein Ermessen noch ein Beurteilungsspielraum besteht. Der Gesetzgeber hat die Tür bewusst schmal geöffnet: Wo abzuwägen ist, soll ein Mensch abwägen.
- —Artikel 22 DSGVO gibt Betroffenen das Recht, keiner ausschließlich automatisierten Entscheidung mit erheblicher Wirkung unterworfen zu werden.
- —Der EuGH hat im SCHUFA-Urteil (C-634/21, 7. Dezember 2023) klargestellt: Schon das Erzeugen eines Scores, auf den sich ein Dritter bei seiner Entscheidung maßgeblich stützt, ist selbst die relevante „Entscheidung“. Man kann die Verantwortung nicht dadurch abstreifen, dass formal am Ende noch ein Mensch auf „Bestätigen“ klickt.
Das Recht kennt die Herrschaft des Niemand also. Es akzeptiert das „der Mensch schaut ja noch drauf“ nicht als Freibrief.
Was daraus folgt
Für Verwaltungen, die KI in Entscheidungsprozesse einführen — und für die Beraterinnen und Berater, die sie dabei begleiten —, ist die Konsequenz nicht „mehr Modell-Dokumentation“. Sie ist:
- —Verantwortung benennen, bevor das System live geht. Eine namentlich bestimmbare Person, nicht eine Rolle, nicht „das Verfahren“. Wer kann den Bescheid erklären und steht für ihn ein?
- —Die menschliche Prüfung als Tätigkeit ausgestalten und messen — an der Prüftiefe, nicht an der Durchlaufquote. Eine Aufsicht, die niemand darin ausgebildet hat, ist auf dem Papier zugewiesen und in der Praxis nicht vorhanden.
- —Einen Widerspruchspfad bauen, der auf einen Menschen trifft, der die Einzelfallentscheidung tatsächlich neu treffen darf und kann — nicht auf eine zweite Instanz, die nur den Modell-Output noch einmal vorgelegt bekommt.
- —Ermessensräume schützen. Wo das Gesetz eine Abwägung verlangt, darf ein Modell vorbereiten, nicht vorentscheiden.
- —Dokumentieren, wer entschieden hat — nicht nur, was das Modell ausgegeben hat.
Der eigentliche Punkt
Die Leitfrage bei KI in der Verwaltung ist nicht „Ist das Modell gut genug?“. Sie lautet: „Wenn dieser Bescheid falsch ist — wer hat ihn zu verantworten, und kann diese Person ihn einem Bürger gegenüber erklären?“
Solange die ehrliche Antwort „der Algorithmus“ lautet, ist die Herrschaft des Niemand schon eingezogen. Und anders als eine Behörde ist ein Niemand nicht erreichbar, nicht abwählbar und vor keinem Verwaltungsgericht zu belangen.
Welche automatisierte Entscheidung in Ihrer Organisation könnte heute niemand mehr im Einzelfall erklären?