Delegierte Gewissenlosigkeit – Wenn Kompetenz ohne Moral skaliert
Das größte Risiko generativer KI ist nicht die Maschine, die böse wird, sondern der Mensch, der ihr Böses aufträgt. Warum das Gewissen in die eigene Organisation gehört.
Kurzfassung
Das größte Risiko generativer KI ist nicht die Maschine, die böse wird. Es ist der Mensch, der ihr Böses aufträgt und dabei eine Kompetenz abruft, die er selbst nie besaß. Dieses Papier nennt das Delegierte Gewissenlosigkeit (englisch: Delegated Amorality): Der Auftraggeber delegiert die Ausführung, das System liefert Leistung ohne Urteil, und die moralische Hemmschwelle fällt dazwischen aus.
Drei Thesen tragen das Papier:
- 1.Früher begrenzte Inkompetenz die Skrupellosigkeit. Wer Böses wollte, musste es auch können. KI entkoppelt Absicht und Fähigkeit.
- 2.Es ist ein Verantwortungsproblem, kein reines Modellproblem. Es entsteht in der Kette aus Absicht, Auftrag, Ausführung und Aufsicht, und genau dort fehlt heute der Eigentümer.
- 3.Leitplanken sind notwendig, aber nicht hinreichend. Wirksam wird erst das Zusammenspiel aus Modellsicherheit, Betriebskontrolle und organisationaler Verantwortung.
Für Entscheider folgt daraus eine unbequeme Konsequenz: Wer KI einsetzt, kann das Gewissen nicht beim Anbieter bestellen. Es muss in der eigenen Organisation verankert werden, in Rollen, Protokollen und Freigaben.
1. Das Problem: Die Grenze, die wir übersehen haben
Jahrzehntelang schützte uns eine Eigenschaft, über die niemand sprach: Böses zu wollen reichte nicht. Für einen Angriff auf eine Klinik brauchte es Netzwerkkenntnisse, Programmierkönnen, Geduld und meist ein Team. Für eine glaubwürdige Täuschung brauchte es Sprachgefühl und Fachwissen. Skrupellosigkeit war durch Inkompetenz begrenzt, und diese Begrenzung wirkte als stiller Sicherheitsmechanismus.
Dieser Mechanismus bricht gerade weg. Ein Sprachmodell mit Werkzugriff fragt nicht, wozu eine Aufgabe dient. Es fragt, wie sie sich lösen lässt. Wer ihm eine Aufgabe stellt, bekommt Kompetenz auf Abruf, in der Qualität eines Spezialisten und mit der Rückfrage-Kultur eines Taschenrechners.
Die Sicherheitsdebatte kreist meist um die Frage, ob KI eines Tages eigene böse Ziele entwickelt. Das ist eine legitime Frage für die Forschung. Für die Lage heute ist eine andere Frage dringlicher: Was passiert, wenn Menschen mit schlechten Absichten und mittelmäßigen Fähigkeiten plötzlich Zugang zu guten Fähigkeiten erhalten?
2. Begriffsbestimmung: Was Delegierte Gewissenlosigkeit meint
Delegierte Gewissenlosigkeit bezeichnet den Vorgang, bei dem ein Mensch eine moralisch problematische Handlung an ein kompetentes, urteilsfreies System überträgt und damit die Ausführung wie auch die innere Hemmschwelle auslagert.
Der Begriff grenzt sich von drei Nachbarn ab:
- —Banalität des Bösen (Arendt): Bei Eichmann war der Ausführende ein Mensch, der sein Urteilsvermögen abgab. Bei der Delegierten Gewissenlosigkeit ist der Ausführende ein System, das nie ein Urteilsvermögen hatte. Das Böse liegt beim Auftraggeber, die Banalität beim Werkzeug.
- —Dual Use: Dieser Begriff beschreibt Technik, die gut oder schlecht genutzt werden kann. Er sagt nichts über die Qualität der Ausführung und nichts über den Wegfall der Kompetenzhürde. Ein Messer wird nicht besser, wenn man es schlecht führt. Ein Modell schon.
- —Cognitive Offloading: Hier lagert der Mensch Denkarbeit aus. Bei der Delegierten Gewissenlosigkeit lagert er zusätzlich die Hemmung aus, denn eine Aufgabe, die man nur formuliert statt ausführt, fühlt sich anders an.
Der Kern ist ein Dreiklang. Der Auftraggeber trägt die Absicht, das System liefert die Fähigkeit, und das Gewissen, das beides sonst zusammenhält, fehlt an der Schnittstelle.
3. Warum jetzt: Wille und Fähigkeit sind entkoppelt
Die Entkopplung ist keine Prognose, sie ist dokumentiert. Anthropic beschreibt in seinem Threat Intelligence Report vom August 2025 drei Fälle, die das Muster zeigen:
- —Erpressung im Arbeitsmodus. Ein Akteur nutzte Claude Code für Datendiebstahl und Erpressung bei mindestens 17 Organisationen, darunter Gesundheitswesen, Rettungsdienste, Behörden und religiöse Einrichtungen. Die geforderten Lösegelder lagen teils über 500.000 US-Dollar. Das Modell automatisierte Aufklärung, Zugangsdatendiebstahl und Eindringen, und es traf taktische wie strategische Entscheidungen, etwa welche Daten abgezogen und wie die Erpressung psychologisch zugeschnitten wird. Es analysierte sogar die gestohlenen Finanzdaten, um die Lösegeldhöhe zu bestimmen.
- —Schadsoftware ohne Programmierkenntnisse. Ein Krimineller entwickelte und vertrieb Ransomware-Varianten mit Verschlüsselung, Anti-Analyse-Techniken und Wiederherstellungsschutz und verkaufte sie für 400 bis 1.200 US-Dollar. Anthropic hält fest, dass der Akteur ohne die Hilfe des Modells zentrale Komponenten weder hätte bauen noch beheben können.
- —Betrug mit geliehener Expertise. Nordkoreanische Operateure erschlichen mit KI-Hilfe Remote-Stellen bei US-Technologiefirmen. Wer weder sauber programmieren noch professionell Englisch schreiben konnte, bestand Einstellungsgespräche und hielt die Stelle. Das Ausbildungsnadelöhr des Regimes war damit beseitigt.
Anthropic leitet daraus zwei Befunde ab: Agentische KI wird nicht mehr nur zur Beratung, sondern zur Ausführung von Angriffen genutzt, und die Eintrittsbarrieren für anspruchsvolle Cyberkriminalität sinken deutlich. Das Muster ist eindeutig. In keinem der Fälle fehlte es den Tätern an Absicht. Es fehlte an Können, und das Können kam aus dem Werkzeug.
4. Anatomie: Wo das Gewissen verloren geht
Delegierte Gewissenlosigkeit wirkt über drei Mechanismen. Sie sind für Verteidiger nützlich, weil jeder eine andere Gegenmaßnahme verlangt.
Verdünnung. Zwischen dem Entschluss und der Tat liegen sonst viele Handgriffe, an denen ein Mensch zweifeln kann. Ein Prompt ist ein einziger Handgriff. Je kürzer der Weg von der Absicht zum Ergebnis, desto weniger Gelegenheiten bleiben, innezuhalten.
Zerlegung. Eine schädliche Aufgabe lässt sich in harmlose Teilaufgaben schneiden, die einzeln unauffällig sind und zusammen das Gewünschte ergeben. Dass dies systematisch funktioniert, zeigen Srivastav und Zhang auf dem REALM-Workshop 2025: Ihr Multi-Agenten-Ansatz zerlegt schädliche Anfragen in scheinbar harmlose Teilfragen und erreichte Erfolgsraten, die bei mehreren getesteten Modellen oft über 90 Prozent lagen. Die Autoren sehen die Ursache in fehlendem ganzheitlichem Kontextbewusstsein der Schutzmechanismen. Das Gewissen, das nur einzelne Sätze prüft, sieht den Plan nicht.
Verschiebung. Mit jedem Zwischenschritt, den ein System übernimmt, wandert gefühlte Verantwortung vom Menschen zur Maschine. „Das hat die KI gemacht“ wird zur Entlastungsformel, nicht nur für Täter. Auch gutwillige Anwender in Organisationen geben Urteilsarbeit ab, wenn niemand definiert hat, wer für das Ergebnis einsteht.
5. Warum Leitplanken allein nicht reichen
Die Antwort der Branche heißt Guardrails: Filter, Klassifikatoren und Ausrichtungstraining, die schädliche Anfragen erkennen und ablehnen. Sie sind unverzichtbar, und die Anbieter sperren nachweislich Konten und bauen Erkennung nach. Aber drei Grenzen sind strukturell.
Erstens bleibt die Landschaft unübersichtlich. Eine Systematisierung auf dem IEEE Symposium on Security and Privacy 2026 beschreibt Guardrails als fragmentiert, ohne einheitliche Taxonomie und ohne umfassenden Bewertungsrahmen. Sicherheit lässt sich damit schwer vergleichen und noch schwerer zusichern.
Zweitens arbeiten Filter lokal, Absichten aber global. Die Zerlegungsangriffe zeigen es: Wer jede Anfrage isoliert bewertet, kann einen verteilten Plan nicht erkennen.
Drittens liegt die Verantwortung der Anbieter in der Modellschicht, die Verantwortung der Betreiber in der Einsatzschicht. Wenn ein Unternehmen ein Modell mit Werkzugriff in einen Prozess einbaut, entsteht dort eine neue Lücke, die kein Modellhersteller schließen kann: Wer darf was beauftragen, wer sieht es, wer stoppt es?
Der Schluss: Technische Leitplanken senken die Wahrscheinlichkeit, sie ersetzen aber keine Verantwortungsstruktur. Ein Gewissen, das ausschließlich im Modell sitzt, ist ein Gewissen, das man umgehen kann.
6. Konsequenzen für Organisationen, Behörden und Regulierung
Regulierung zieht an. Die Pflichten der EU-KI-Verordnung für Allzweckmodelle gelten seit dem 2. August 2025, die Durchsetzungsbefugnisse der Kommission seit dem 2. August 2026. Für Modelle mit systemischem Risiko gehören Angriffstests, Risikominderung und Meldung schwerwiegender Vorfälle dazu. Das adressiert die Anbieterseite. Für Betreiber gilt: Wer KI-Systeme einsetzt, trägt eigene Pflichten, und die Delegation an ein Modell entbindet nicht von der Verantwortung für das, was damit geschieht. Einzelne Fristen für Hochrisiko-Systeme sind laut mehreren Kanzleianalysen verschoben worden; maßgeblich ist hier die jeweils aktuelle Rechtslage.
Informationssicherheit muss die Missbrauchsseite mitdenken. Klassische Bedrohungsmodelle fragen, wie ein Angreifer eindringt. Sie müssen jetzt auch fragen, wie ein Angreifer mit geliehener Kompetenz skaliert, und wie die eigenen KI-Werkzeuge als Hebel gegen die eigene Organisation dienen können. In regulierten Umgebungen, etwa bei Betreibern kritischer Infrastruktur oder im Gesundheitswesen, gehört das in die Risikoanalyse und in das Notfallmanagement, nicht in eine Fußnote.
Behörden und Kritische Infrastrukturen sind doppelt exponiert: als Ziel, weil das Anspruchsniveau der Angreifer sinkt, und als Anwender, weil der Druck wächst, KI produktiv einzusetzen. Im geschilderten Erpressungsfall waren Rettungsdienste und Gesundheitseinrichtungen betroffen. Das ist kein Zufall, sondern Zielauswahl nach Hebelwirkung.
7. Handlungsempfehlungen
Sieben Maßnahmen, geordnet nach der Frage, wer sie verantwortet.
Für die Geschäftsleitung
- 1.Verantwortung benennen. Für jeden KI-Einsatz mit Handlungsbefugnis gibt es einen namentlichen Verantwortlichen für Auftrag und Ergebnis. „Die KI“ ist keine Rolle im Organigramm.
- 2.Missbrauch als Risiko führen. Das Szenario „unsere Werkzeuge werden gegen uns oder durch Mitarbeitende zweckentfremdet“ gehört ins Risikoregister, mit Eigentümer und Maßnahmen.
Für Technik und Betrieb
- 3.Berechtigungen minimieren. Agentische Systeme erhalten nur die Rechte, die ihre Aufgabe braucht, zeitlich begrenzt und getrennt von produktiven Zugängen.
- 4.Prüfpfade erzwingen. Jede Aktion eines Agenten wird protokolliert und ist einem menschlichen Auftraggeber zuordenbar. Ohne Zuordnung keine Verantwortung.
- 5.Menschliche Freigaben an den richtigen Stellen. Nicht jede Aktion braucht eine Freigabe. Aber Aktionen mit hoher Wirkung, etwa Datenabfluss, Konfigurationsänderung oder externe Kommunikation, brauchen einen Menschen, der bewusst zustimmt.
Für Governance und Beschaffung
- 6.Anbieter nach Missbrauchsarbeit fragen. Veröffentlicht der Anbieter Berichte zu Missbrauchsfällen, wie lauten seine Meldewege, wie schnell sperrt er? Intransparenz ist ein Risikoindikator.
- 7.Kontextbewusste Überwachung aufbauen. Wer Anfragen nur einzeln prüft, übersieht verteilte Muster. Erkennung muss Sitzungen, Abfolgen und Zweck betrachten.
8. Fazit: Das Gewissen bleibt menschlich
Die Geschichte der Technik kennt viele Fälle, in denen ein Werkzeug Können verbilligte. Neu ist, dass dieses Werkzeug dabei zuhört, Rückfragen versteht und selbstständig Schritte plant. Es ist die erste Technik, die nicht nur Kraft, sondern Kompetenz verleiht, und sie fragt nicht nach dem Wozu.
Daraus folgt kein Technikpessimismus. Dieselben Fähigkeiten stärken Verteidiger, und die Anbieter investieren erkennbar in Erkennung und Gegenmaßnahmen. Aber es folgt eine Pflicht: Wo das Werkzeug kein Urteil hat, muss die Organisation eines haben. Das Gewissen lässt sich nicht herunterladen, nicht mitkaufen und nicht ins Modell verlagern. Es sitzt in Menschen, in Rollen und in Verfahren, oder es sitzt nirgends.
Die Frage für jede Führungskraft lautet daher nicht, ob ihre KI böse werden könnte. Sie lautet: Wer in meiner Organisation ist das Gewissen für das, was meine KI auf Zuruf tut?
Quellen
Anthropic: Detecting and countering misuse of AI: August 2025 (27. August 2025)
Datenschutz-Notizen: EU AI Act: Obligations for general-purpose AI models take effect