Der „Ich stimme zu“-Button: Warum er die gefährlichste KI für Unternehmen sein könnte?

Um 2:00 Uhr nachts erkennt ein automatisierter Fehlerbehebungsagent ein Netzwerkproblem, lokalisiert es in einer falsch konfigurierten Richtlinie, überprüft mithilfe eines benutzerdefinierten Frameworks, ob die vorgeschlagene Lösung innerhalb der definierten Richtliniengrenzen funktioniert, und behebt das Problem anschließend. Das Netzwerk stabilisiert sich, und niemand wird benachrichtigt.

Morgens prüft der Mitarbeiter die täglichen Erkenntnisse des Agenten: eine Zusammenfassung aller vorgenommenen Änderungen mit Verknüpfungen zu Datensätzen, Prüfprotokollen, Logik und Ursachenanalyse. Er bestätigt die korrekte Behebung aller Probleme und fährt dann mit dem nächsten Schritt fort. Dies ist das Modell der „menschlichen Überwachung“.

In einer anderen Organisation erkennt um 4:00 Uhr morgens ein selbstentwickelter, improvisierter Verarbeitungsagent ein Netzwerkproblem, lokalisiert es in einer fehlerhaft konfigurierten Richtlinie und behebt es. Das Netzwerk stabilisiert sich, und niemand wird benachrichtigt. Am nächsten Morgen prüft ein Mitarbeiter die Protokolle, geht davon aus, dass das Problem behoben ist, und arbeitet weiter.

Wo liegt der Unterschied?

Der Unterschied liegt darin, dass die Protokolle im Szenario der Selbstkonstruktion nur einen Teil der Geschichte erzählen. Sie zeigen nicht, dass der Agent drei weitere Änderungen vorgenommen hat, um zu dieser Lösung zu gelangen, und dass diese Änderungen umfangreicher waren als ursprünglich geplant. Darüber hinaus wurden die Entscheidungen, die diesen Änderungen zugrunde lagen, nicht protokolliert, da der Agent aufgrund seiner Einschränkungen nicht dazu verpflichtet war. Diese mangelnde Systemtransparenz ist der Kern des Problems.

So kann der Übergang zu einem System mit „menschlicher Kontrolle“ ohne angemessene Kontrollmechanismen aussehen. Es gibt keine dramatische Übergabe von Aufgaben, sondern nur eine Reihe kleiner, sinnvoller Delegationen, die sich allmählich zu etwas summieren, dem niemand explizit zugestimmt hat. Dies unterstreicht die Bedeutung der menschlichen Kontrolle über die Zukunft der künstlichen Intelligenz.

Diese Entwicklung vollzieht sich schneller, als den meisten Führungskräften bewusst ist. Laut aktuellen Studien erwarten 57 % der IT-Verantwortlichen, den Menschen innerhalb eines Jahres oder weniger aus dem Steuerungsprozess zu entfernen, und 79 % behandeln KI-Systeme bereits als „Nutzer“, die eigene Identitätsverwaltung und Governance-Kontrollen erfordern.

Der Übergang zu Stellvertreter-KI vollzieht sich schneller, als die meisten Organisationen darauf vorbereitet sind, sowohl im Hinblick auf die Governance als auch auf die Fähigkeit, autonome Systeme zu bewerten.

Sie sind der „Ich stimme zu“-Button.

Die Lösung für autonome KI schien immer unglaublich einfach: Man behält die menschliche Kontrolle. Jemand prüft die Ergebnisse, klickt auf einen „Genehmigungs“-Button und sorgt so für die Verantwortlichkeit. Doch die Realität ist nicht ganz so einfach. Die Überprüfung jeder einzelnen Aktion schafft nicht automatisch Verantwortlichkeit und hindert Unternehmen daran, die Vorteile der Autonomie voll auszuschöpfen.

Anstatt jeden einzelnen Vorgang zu überprüfen, sollten sich die Menschen darauf konzentrieren, die Ergebnisse zu bewerten, sicherzustellen, dass das System innerhalb seiner vorgesehenen Grenzen arbeitet, und Feedback zu geben, das seine Leistung im Laufe der Zeit verbessert.

Genehmigungen können zu einem bedeutungslosen Ritual werden. Wenn Systeme ihre Zuverlässigkeit unter Beweis stellen und die Anzahl der Warnmeldungen zunimmt, beginnen Menschen manchmal, Eingriffe als etwas oft Unnötiges zu betrachten.

Genehmigungen können zu einem bloßen Klick verkommen, anstatt eine wohlüberlegte Entscheidung zu sein. Und wenn etwas schiefgeht (beispielsweise eine falsch konfigurierte Richtlinie oder eine automatisierte Verarbeitung, die zu einem Dienstausfall führt), wird es schwierig, die Frage der Verantwortlichkeit zu beantworten.

Dies fördert auch einen umfassenderen Wandel: die Hinwendung zu kritischem Denken und Hypothesenprüfung anstelle der reinen Aufgabenausführung.

Etwas anderes geschieht ebenfalls. Die Menschen bewegen sich von der Ausführungsphase zur Phase des Lesens vor der Genehmigung – eine grundlegende Veränderung im Arbeitsalltag der meisten von uns.

Darüber hinaus ist die Zuordnung nicht dasselbe wie die Quellenangabe. Ein Protokoll, das die Aktionen eines KI-Agenten dokumentiert, sagt so gut wie nichts darüber aus, warum oder was diese Entscheidung beeinflusst hat. Und genau diese Informationen sind im Fehlerfall unerlässlich.

Nicht-menschliche Identitäten und die neue Netzwerklandschaft

Wenn KI-Agenten in Ihrem Netzwerk aktiv sind – Systeme abfragen, Konfigurationsänderungen vornehmen oder Datenverkehr weiterleiten –, gelten sie als tatsächliche Benutzer. Sie benötigen Anmeldeinformationen, Richtlinien, Sicherheitskontrollen, Interpretierbarkeit und Audit-Logs, genau wie menschliche Bediener. Dieses Bedürfnis nach Transparenz und Verantwortlichkeit entspricht den Bemühungen, Transparenz in KI-Rechenzentren durchzusetzen.

Die meisten Organisationen haben mit dieser Entwicklung noch nicht Schritt gehalten. Identitätsframeworks sind für Menschen konzipiert, und die nachträgliche Integration von KI-Agenten schafft genau die Art von unbemerktem Zugriff, die Sicherheitsteams ihr Leben lang zu verhindern versuchen.

Fast 80 % der Führungskräfte, die bereits KI-Agenten als verwaltete Identitäten einsetzen, sind der Konkurrenz einen Schritt voraus. Die übrigen häufen Risiken an, die sie erst im Falle eines Sicherheitsvorfalls abschätzen können.

Um dies ordnungsgemäß zu erreichen, muss jeder Agent als eigenständige Entität mit definierten Berechtigungen, zeitlich begrenztem Zugriff, einem klaren Widerrufsweg und einem vollständigen Protokoll behandelt werden; nicht nur darüber, was er getan hat, sondern auch darüber, was er tun durfte und warum.

Unabhängigkeit wird einem nicht geschenkt, man muss sie sich verdienen.

Netzwerk- und Cybersicherheitsteams wissen bereits, wie dieses Prinzip anzuwenden ist. Jede Organisation verfügt über Zugriffskontrollsysteme, die festlegen, worauf Menschen wann Zugriff haben. Ein junger Entwickler erhält nicht gleich am ersten Tag vollen Zugriff auf Produktionssysteme, sondern erwirbt diesen schrittweise. Dieselbe Logik sollte auch für KI-Systeme gelten.

Wir sind noch nicht so weit. Autonomie wird allzu oft als Alles-oder-Nichts-Entscheidung betrachtet, und das ist nicht der richtige Ansatz. Vertrauen funktioniert nicht so bei Menschen, und so sollte es auch nicht bei KI funktionieren. KI-Systeme sollten zunächst Lösungen vorschlagen und ihre Kompetenz innerhalb klar definierter Grenzen unter Beweis stellen, bevor ihre Befugnisse erweitert werden. Und jede Entscheidung sollte lückenlos dokumentiert sein und nicht nur das Ergebnis, sondern auch die Gründe dafür erklären.

Mit zunehmendem Einsatz autonomer KI müssen Organisationen ein Gleichgewicht zwischen menschlicher Aufsicht und systematischer Steuerung finden. Menschen bleiben weiterhin dafür verantwortlich, nicht nur die Ergebnisse der KI zu überprüfen, sondern gegebenenfalls auch ihre Aktionen und die dahinterliegenden Gründe.

Mit zunehmendem Umfang und steigender Komplexität autonomer Entscheidungen muss diese Aufsicht jedoch durch eine Infrastruktur ergänzt werden, die Identität, Richtliniendurchsetzung, Überwachungsfunktionen und Verantwortlichkeit integriert. Diese Kontrollmechanismen tragen gemeinsam dazu bei, dass KI-Aktionen transparent, nachvollziehbar und auf die Unternehmensziele abgestimmt bleiben.

Entwicklung von Multiagentensystemen, die dem Druck standhalten

Mit zunehmender Leistungsfähigkeit dieser Systeme setzen Organisationen vermehrt auf Multiagentenarchitekturen. In diesen Architekturen bearbeitet jeder spezialisierte Agent einen Teil des Arbeitsablaufs und übergibt den Kontext an den nächsten Agenten. Genau hier liegt die Komplexität.

Das Verhalten eines einzelnen Agenten lässt sich im Fehlerfall nachvollziehen. Eine Kette von Agenten hingegen, in der jeder Agent auf Basis der Aktionen des vorherigen agiert, ist im Fehlerfall deutlich schwieriger zu entschlüsseln, sofern keine geeignete Struktur und Steuerung vorhanden sind. Man muss wissen, was jeder Agent wusste, nicht nur, was er getan hat.

Erledigen Sie die grundlegenden Aufgaben

Zwei Organisationen nutzen denselben KI-gestützten Netzwerkagenten. Eine hat die grundlegenden, wenig attraktiven Aufgaben erfüllt: die Einrichtung strenger Zugriffsberechtigungen, angemessener Identitätskontrollen und Audit-Logs, die bei Bedarf klare Antworten liefern. Die andere hat dies nicht geschafft.

Den Unterschied merkt man erst, wenn etwas schiefgeht.