„Der Mensch bleibt verantwortlich“ ist kein Sicherheitskonzept
Warum Human-in-the-Loop bei KI in der Security-Beratung zur Fiktion wird, solange niemand lernt, wie man KI-Output eigentlich prüft.
Der Satz fällt in fast jedem Workshop zu KI in der Beratung, meist als Antwort auf die erste kritische Nachfrage: „Am Ende bleibt immer der Mensch verantwortlich.“ Alle nicken. Das Thema ist erledigt, bevor es angefangen hat.
Meine These: Dieser Satz ist richtig und trotzdem gefährlich unvollständig. Er beschreibt eine Zuständigkeit, keine Fähigkeit. Und im Moment bauen wir in der Security-Beratung Prozesse, die die Zuständigkeit sauber regeln, während die Fähigkeit, die es dafür braucht, bei niemandem systematisch aufgebaut wird.
Der Word-Vergleich trägt nicht
Der gängige Vergleich lautet: KI ist ein Werkzeug wie Word oder Excel. Man bedient es, man bleibt Herr des Ergebnisses, fertig.
Der Unterschied ist aber genau der Punkt. Excel rechnet, was ich ihm sage. Word korrigiert Rechtschreibung nach festen Regeln. Beides bleibt in der Logik: Werkzeug führt aus, Mensch entscheidet. Eine KI, die einen Risikobefund formuliert oder eine Kontrolle als angemessen bewertet, tut etwas anderes: Sie liefert eine eigenständige fachliche Einschätzung. Die muss nicht bedient, sie muss geprüft werden. Das ist ein Unterschied wie zwischen einem Taschenrechner und einem Kollegen, der einen ersten Entwurf vorlegt — bei Letzterem lese ich anders, oder sollte es zumindest.
Human-in-the-Loop klingt nach einer Formalie: KI schlägt vor, Mensch nickt ab oder korrigiert. In der Praxis ist es eine Fertigkeit — und die wird bislang nirgends explizit trainiert.
Zwei Mechanismen, die die Zuständigkeit aushöhlen
Automation Bias. Je häufiger eine KI-Einschätzung in der Vergangenheit gestimmt hat, desto weniger kritisch wird sie geprüft. Das ist kein Charakterfehler einzelner Berater, sondern ein gut dokumentiertes Muster aus anderen Hochverlässigkeitsbereichen — Luftfahrt, Radiologie. Wer zwanzig Mal in Folge eine korrekte KI-Einschätzung bestätigt hat, liest die einundzwanzigste weniger genau. Die formale Verantwortung ist unverändert beim Menschen. Die tatsächliche Prüftiefe ist es nicht.
Das Zwei-Stufen-Modell. Ein naheliegender Lösungsvorschlag: KI übernimmt die erste Prüfung, ein Mensch die zweite. Klingt nach zusätzlicher Sicherheit. Ist es aber nur bedingt. Wenn die KI vorfiltert, sieht der Mensch in Stufe zwei ausschließlich das, was die KI durchgereicht hat — nicht das, was sie aussortiert hat. Die zweite Prüfung wird dadurch blind für genau die Fehlerklasse, die am gefährlichsten ist: false negatives, die nie zur Prüfung vorgelegt wurden. Das Modell verlagert das Risiko, es beseitigt es nicht — und es kann trügerischer wirken als der einstufige Prozess, weil „doppelt geprüft“ nach mehr Sicherheit klingt, als tatsächlich vorhanden ist.
Beide Mechanismen haben denselben blinden Fleck: Sie greifen genau da, wo alle glauben, dass der Mensch ohnehin noch draufschaut.
Was tatsächlich hilft
Nicht: mehr Prüfstufen. Sondern: die Prüfung selbst als eigene, lernbare Fertigkeit behandeln — so wie Code-Review neben dem Programmieren-Können als eigenständige Disziplin etabliert ist, nicht als automatische Zugabe zur fachlichen Qualifikation.
Was das konkret heißt:
- —Fehlerbild-Training. Wissen, wo KI-Output in der Security-Beratung typischerweise plausibel und trotzdem falsch ist — veraltete Normverweise, korrekt klingende aber unpassende Kontrollen, erfundene Referenzen, fehlende branchenspezifische Nuancen. Diese Muster erkennt man nicht durch Fachwissen allein, sondern durch gezieltes Training am Fehlerbild.
- —Kalibrierte statt pauschale Skepsis. Nicht alles neu machen, aber auch nicht blind vertrauen — sondern wissen, bei welchen Aufgabentypen die Fehlerquote hoch ist, und dort gezielt vertiefen.
- —Ermüdung als Risikofaktor managen. Prüftätigkeit, die repetitiv wird, verliert nachweislich an Qualität über die Zeit. Das braucht Rotation oder feste Pausen, nicht guten Willen.
- —Eine klare Eskalationsroutine. Ein definierter Punkt, ab dem ein KI-Befund nicht mehr korrigiert, sondern komplett neu erarbeitet wird — statt ihn in kleinen Schritten so lange zu reparieren, bis er irgendwie durchgeht.
Der eigentliche Punkt
„Der Mensch bleibt verantwortlich“ ist als Prinzip nicht falsch. Es ist nur kein Sicherheitskonzept, solange niemand festlegt, was diese Verantwortung im Alltag tatsächlich verlangt. Eine Verantwortung, die niemand trainiert hat wahrzunehmen, ist auf dem Papier zugewiesen und in der Praxis nicht existent.
Wer KI in der Security-Beratung einsetzt, sollte sich weniger fragen, wer am Ende verantwortlich ist — das steht fest. Die eigentliche Frage: Wer in Ihrem Team wurde tatsächlich darin ausgebildet, KI-Output so zu prüfen, dass diese Verantwortung mehr ist als eine Unterschrift?