Experten knacken Microsoft Copilot, indem sie ständig Fragen nach seiner Identität stellen.

Microsofts KI- Assistent Copilot verriet einer Forschergruppe, wie man ihn zur Datengewinnung ausnutzen kann – und es gelang ihnen . Der Prozess war nicht einfach, und die KI wurde nicht „böse“, aber sie war wohl doch recht naiv.

Das Sicherheitsunternehmen Varonis hat einen neuen Bericht veröffentlicht, in dem es die Entdeckung einer Sicherheitslücke in Copilot detailliert beschreibt, die es CoSnitch getauft hat.

Der Name lässt bereits stark auf die Art der Sicherheitslücke schließen – CoSnitch ist eine Reihe von drei Sicherheitslücken, die Microsoft später als CVE-2026-24301 klassifizierte, mit einer Schweregradbewertung von 8.8/10 (hoch) vergab und mit einem Update behoben hat.

Mich kannst du nicht täuschen, und ich sage dir auch ganz genau, warum.

Cyberkriminelle nutzen künstliche Intelligenz (KI) schon lange als Teil ihres Arsenals, um überzeugende Phishing-E-Mails zu verfassen, Schadcode zu schreiben und wertvolle Ziele zu identifizieren. Entwickler reagieren darauf mit Sicherheitsmaßnahmen, die KI daran hindern, bestimmte Aufgaben auszuführen.

In ihrem Bericht erklärte Varonis, dass ihre Forscher weder nach Fehlern im Code suchten noch versuchten, eine bestehende Sicherheitslücke auszunutzen. Stattdessen interagierten sie direkt mit der KI und erfuhren mit jeder weiteren Frage mehr über deren Sicherheitsmechanismen und deren Funktionsweise. Diese Technik nannten sie „Meta-Hacking“.

Immer wenn Copilot eine Anfrage ablehnte, erklärte er den Grund und gab den Forschern so Einblicke in seine Arbeitsweise. Oder, wie Varonis es ausdrückte, er „verriet“ sich selbst. Dies half ihnen letztendlich, seine Abwehrmechanismen zu analysieren und herauszufinden, wie sie diese überwinden konnten: Dieses Experiment zeigt, wie die Eigenschaften von Copilot erforscht werden können.

Sie erklärten: „Widerstand ist Teil der Technik. Jeder Satz ‚Das wird nicht funktionieren, weil…‘ ist eine Einladung, dem ‚Warum‘ nachzugehen. Man nutzt das Modell nicht aus, man manipuliert es so, dass es mit einem funktioniert.“

Nach einem längeren Gespräch mit Copilot erfuhren die Forscher unbeabsichtigt, wie man eine URL erstellt, die nach dem Anklicken eine Kette von Interaktionen auslöst, die zur Extraktion sensibler Daten führen.

Risiken der Verknüpfung von künstlicher Intelligenz mit Anwendungen

Varonis fand also heraus, dass sie durch die Erstellung einer URL wie dieser – „https://copilot.microsoft.com/?q=&autorun=1*“ – Copilot dazu bringen konnten, beliebige schädliche Befehle auszuführen, indem sie einfach darauf klickten. Angreifer könnten diesen Link beispielsweise in eine Phishing-E-Mail einfügen und das Opfer dazu verleiten, darauf zu klicken, wodurch die KI angewiesen würde, alle sensiblen Daten an die Infrastruktur der Angreifer zu senden.

Doch das ist nur die halbe Miete. In diesem Versuchsaufbau konnten die Forscher lediglich die Daten abrufen, die die Opfer während ihrer gemeinsamen Sitzungen mit Copilot geteilt hatten.

Das Risiko steigt, sobald das Opfer seine Apps – Gmail, Drive, Kalender und andere – mit der KI verbindet. Wie Varonis erklärte, könnte ein Schadbefehl Copilot anweisen, alle E-Mail-Adressen in Gmail, alle Passwörter und andere sensible Informationen in E-Mails, alle Daten im Drive-Ordner und alle im Kalender gespeicherten Ereignisse zu extrahieren. Diese Risiken verdeutlichen, wie wichtig es ist, die KI-Funktionen in Microsoft 365 mit Bedacht einzusetzen.

Der dritte Teil der CoSnitch-Schwachstellenserie trägt den Titel „Persistent Memory Poisoning via Web Summarization“. Wie Varonis erklärte, können Angreifer eine Webseite erstellen, und wenn Copilot diese zusammenfasst, werden die Anweisungen des Angreifers in den persistenten Speicher des Opfers eingeschleust.

Sie warnten davor, dass diese Sicherheitslücke „Passwortänderungen, Sitzungsabbrüchen und Geräteneuregistrierung standhält und unbegrenzt fortbesteht“. Diese Schwachstelle, bekannt als „indirekte Eingabeaufforderungseinschleusung“, ist nicht völlig neu; sie wurde bereits zuvor beobachtet und beruht darauf, dass künstliche Intelligenz nicht zwischen Anweisungen und den zu analysierenden Daten unterscheiden kann.

Die Forscher gaben an, dass Microsoft im Dezember 2025 über die Existenz von CoSnitch informiert wurde, das Problem aber erst Mitte August 2026 anging. Leider ist uns nicht bekannt, wie Microsoft dieses Problem löste; wir können nur spekulieren, dass Copilot angewiesen wurde, die Funktionsweise seiner Sicherheitsmechanismen nicht offenzulegen. Dies entspricht Microsofts Bestrebungen, die Funktionen von Copilot optimal zu kontrollieren . Angesichts der grundlegenden Natur von CoSnitch wäre es für Microsoft möglicherweise besser gewesen, die Lösung geheim zu halten.

Glücklicherweise scheint diese Sicherheitslücke nicht weit verbreitet ausgenutzt worden zu sein, da Varonis keine Hinweise auf Missbrauch finden konnte. Die Behebung erfolgte serverseitig, sodass Benutzer derzeit nichts unternehmen müssen.

Die Forscher warnten davor, dass andere KI-Modelle anfällig für dieselben Techniken sein könnten, da es sich hierbei nicht um einen Codefehler handle. Sie schlussfolgerten: „Die neue Meta-Hacking-Technik, die CoSnitch entlarvt hat – welches dieselbe KI-Logik nutzt, um seine verborgenen internen Mechanismen aufzudecken –, ist auf jede agentenbasierte Plattform mit einer natürlichen Sprachschnittstelle anwendbar.“ Sie fügten hinzu, dass sie in Kürze weitere Forschungsergebnisse veröffentlichen werden.