Bösartige KI-Programme erzwingen: die Ausweitung des Zero-Trust-Prinzips auf den Code.

Softwaresicherheit basierte schon immer auf menschlicher Entwicklung. Früher schrieben, überprüften und veröffentlichten Menschen den Code. Heute übernehmen Maschinen diese Aufgaben.

In einer kürzlich erschienenen Forschungsarbeit berichtete Anthropic, dass über 80 % des in ihrer Produktivitätsdatenbank eingebetteten Codes von ihrem KI- Modell Claude verfasst wurden.

Die gleichen Fähigkeiten, die die Produktivität von Entwicklern steigern, verändern auch die Ökonomie von Cyberangriffen.

Während die Angreifer noch das Ziel identifizieren, können Maschinen bösartige Nutzdaten generieren, Varianten testen, den Code an verschiedene Umgebungen anpassen und den Prozess in einer Geschwindigkeit wiederholen, mit der Sicherheitssoftware nicht mithalten kann.

Geschwindigkeit setzt Sicherheitskontrollen außer Kraft.

Die meisten Sicherheitsprozesse für Unternehmenssoftware gehen von einer Prüfphase aus. Der Code wird geschrieben, geprüft, getestet, freigegeben und bereitgestellt. Sollte später etwas Verdächtiges auftreten, untersuchen die Sicherheitsteams die Situation und reagieren.

Dieses Modell versagt, wenn das Programm innerhalb von Minuten von bloßen Anweisungen zur Ausführung übergeht.

KI-generierter Code lässt sich nahezu in Echtzeit in Skripte, Abhängigkeiten, Automatisierungsaufgaben oder Infrastrukturänderungen umwandeln. Gleichzeitig können Entwicklungsagenten Dateien modifizieren, Pakete auflösen und Befehle ausführen.

Menschliche Gutachter sind nicht mehr Teil des Prozesses.

Angreifer können dieselben Mechanismen nutzen, um Schwachstellen zu erzeugen, Ausweichtechniken zu testen und das Verhalten schädlicher Nutzdaten für verschiedene Ziele anzupassen. Dies führt zu größerer Vielseitigkeit bei gleichzeitig weniger stabilen Indikatoren, die Verteidiger identifizieren können.

Obwohl KI-gestützte Analysen die Vorauswahl verbessern können, liefern sie oft Wahrscheinlichkeiten statt konkreter Handlungsempfehlungen. Und in Maschinengeschwindigkeit ist „wahrscheinlich verdächtig“ nicht ausreichend. Daher wird der Bedarf an KI-Governance-Regeln und -Rahmenwerken immer dringlicher.

Maschinen verändern das Angriffsmodell.

Menschliche Angreifer werden nicht verschwinden, aber ein größerer Teil der Angriffskette wird mittlerweile von Maschinen ausgeführt.

Künstliche Intelligenz kann die Aufklärung automatisieren, die Schwachstellenerkennung beschleunigen, Exploit-Code generieren, Schadsoftware umschreiben und Befehlssequenzen an die Zielumgebung anpassen. Die meisten Abwehrmaßnahmen sind jedoch auf menschliche Schwächen ausgelegt: wiederverwendete Infrastruktur, Abkürzungen und nachvollziehbare Muster. Diese gelten nicht für Angriffe von Maschinen.

Die von der Maschine erzeugte Schadsoftware entspricht möglicherweise keiner bekannten Signatur oder hat keinen etablierten Ruf. Sie kann erstellt, kurzzeitig verwendet und dann verworfen werden. KI-gestützte Malware hingegen muss mit der Zielumgebung interagieren, um ihr Ziel zu erreichen. Ihr Verhalten darf ihre Absicht nicht verschleiern; sie muss auf Ressourcen zugreifen und die Umgebung so verändern, dass der Angriff vorangetrieben wird.

Bösartiger Code kann das nachhaltigste Sicherheitssignal erzeugen.

Die Sicherheit muss eine andere Frage stellen.

Die Sicherheit der Software-Lieferkette hat sich verbessert, aber ein Großteil davon prüft immer noch die Auswirkungen vor der Ausführung, anstatt die Ausführung selbst zu kontrollieren.

Softwarekomponentenlisten (SBOMs), Signaturen und Quellcode geben Sicherheitsteams mehr Vertrauen in die Zusammensetzung, Herkunft und das Erstellungsdatum des Codes. Die Kenntnis des Quellcodes gibt jedoch nicht preis, was das Programm bei der Ausführung tut.

Ein Programm kann all diese Prüfungen bestehen und dennoch Risiken bergen. Selbst ein legitimer Build-Prozess kann während der Ausführung gegen Richtlinien verstoßen, und ein KI-generiertes Skript kann seine Aufgabe so ausführen, dass Daten oder Systeme gefährdet werden. Daher ist eine fehlerfreie Abhängigkeitsliste kein Beweis für sicheres Verhalten. Dies unterstreicht, wie wichtig es ist, Programmierstandards auch bei der Verwendung von KI-Tools nicht zu verletzen.

Die Offenlegung nach der Umsetzung erfolgt zu spät.

Erkennung und Reaktion sind weiterhin notwendig, greifen aber erst ein, nachdem die Bedrohung bereits in das System eingedrungen ist. Bis verdächtiges Verhalten sichtbar wird, kann die Schadsoftware bereits auf vertrauliche Informationen zugegriffen, Systemzustände verändert, Netzwerkverbindungen hergestellt oder Sicherheitslücken geschaffen haben.

Künstliche Intelligenz verkürzt diesen Zeitraum erheblich. Code kann viel schneller erstellt, modifiziert und eingesetzt werden, als Menschen ihn überprüfen können. Das Abwarten auf Beweise nach der Ausführung gibt Angreifern viel Handlungsspielraum.

Wir müssen den Entscheidungsprozess in eine frühere Phase verlagern. Anstatt zu fragen: „Können wir diese Software eindämmen, wenn sie Fehlfunktionen aufweist?“, sollte die Frage lauten: „Sollte dieses Verhalten überhaupt zugelassen werden?“

Dies bedeutet nicht, die bestehenden Kontrollmechanismen zu ersetzen, sondern vielmehr den Standort des kritischen Sicherheitstors zu verändern.

Null Vertrauen in Programmieranweisungen

Das Zero-Trust-Prinzip hat die Unternehmenssicherheit grundlegend verändert, indem es implizites Vertrauen ablehnt. Benutzer, Geräte, Sitzungen und Zugriffsanfragen werden nicht einfach deshalb als vertrauenswürdig eingestuft, weil sie vertraut erscheinen; sie müssen alle anhand festgelegter Richtlinien überprüft werden.

Die Implementierung von Software erfordert das gleiche Maß an Überprüfung.

Code sollte nicht allein deshalb vertraut werden, weil er aus einem bekannten Repository stammt, von einem anerkannten Herausgeber signiert ist, einen Build-Prozess durchlaufen hat oder zuvor kein schädliches Verhalten gezeigt hat. Dies sind zwar hilfreiche Indikatoren, aber nicht endgültig.

Das Zero-Trust-Prinzip für Code begegnet diesem Problem. Bevor ein Programm ausgeführt wird, muss sein erwartetes Verhalten anhand der Richtlinien überprüft werden. Ist das Verhalten akzeptabel, kann die Ausführung fortgesetzt werden. Andernfalls muss das betreffende Element blockiert, eingeschränkt, unter Quarantäne gestellt oder zur Überprüfung eskaliert werden. Diese Notwendigkeit unterstreicht die Bedeutung klarer Regeln und Rahmenbedingungen für künstliche Intelligenz, die über reine Richtlinien hinausgehen.

Organisationen können damit beginnen, jeden Pfad zu definieren, über den Code in die Umgebung gelangt oder mit weitreichenden Berechtigungen ausgeführt wird. Dies umfasst formale Entwicklungskanäle wie Repositories, Open-Source-Pakete, Container und CI/CD-Pipelines (Continuous Integration/Continuous Deployment) sowie E-Mail-Anhänge, heruntergeladene Dateien, Makros, Browsererweiterungen, Endpoint-Installer, Drittanbieterintegrationen und Skripte, die über KI oder Automatisierungstools eingeschleust werden.

Als Nächstes ist es entscheidend, zu ermitteln, wo diese Pfade auf vererbtem Vertrauen beruhen. Wird die Ausführung zugelassen, weil die Software aus einer vertrauenswürdigen Quelle stammt, signiert wurde, einen Build-Prozess durchlaufen hat oder keine schädliche Vorgeschichte aufweist, ist diese Kontrolle unvollständig. Das Verhalten muss weiterhin bewertet werden, bevor die Ausführung des Elements erlaubt werden kann. Dies verdeutlicht auch die Anfälligkeit für Sicherheitslücken, die sich aus der zunehmenden Abhängigkeit von KI-Anbietern ergibt.

Da künstliche Intelligenz zunehmend die Erstellung sowohl legitimen als auch schädlichen Codes übernimmt, können Unternehmen nicht länger davon ausgehen, dass Code, der die aktuellen Prüfungen besteht, ausgeführt werden darf. Die Implementierung muss zu einer wohlüberlegten Sicherheitsentscheidung werden.

Wir haben die besten Internet-Sicherheitspakete für PCs, Macs und mobile Geräte aufgelistet.