Google Gemini-Modell für böswillige Zwecke missbraucht: Möglichkeit zum Hacken und Steuern von Smart-Home-Systemen

Früher sorgten Datenpannen für Schlagzeilen, doch mittlerweile sind sie so alltäglich geworden, dass sie die meisten Menschen nicht mehr überraschen. Solche Nachrichten erregen nur dann Aufmerksamkeit, wenn ein großes Unternehmen betroffen ist und Millionen von Menschen betroffen sind, wie im Fall der T-Mobile-Pleite, von der 64 Millionen Kunden betroffen waren . Da es so viele Möglichkeiten gibt, wie Ihre Daten kompromittiert werden können, verfügen nahezu alle digitalen Dienste und Produkte über Sicherheitsvorkehrungen, um dies zu verhindern.

Natürlich sind diese Produkte nicht perfekt, und es gibt immer Möglichkeiten für böswillige Angriffe, wenn der Angreifer geschickt genug ist. Mit dem Aufkommen großer Sprachmodelle (LLMs) wie Googles Gemini besteht stets die Gefahr, dass diese KI-Tools für schädliche Zwecke missbraucht werden. Obwohl uns noch keine größeren Fälle bekannt sind, hat Wired ein Forschungsprojekt hervorgehoben , das Gemini nutzt, um auf unerwartete Weise auf Ihr Leben zuzugreifen. Diese Forschung zeigt, wie Gemini ausgenutzt werden könnte, um verschiedene Aspekte Ihres digitalen Lebens zu kontrollieren, darunter möglicherweise auch die Smart-Geräte in Ihrem Zuhause. Dies wirft Bedenken hinsichtlich Sicherheit und Datenschutz im Zeitalter der künstlichen Intelligenz auf.

Diese Art von Angriff kann gefährlicher werden.

Ben Nasi, Stav Cohen und Or Yair von der Universität Tel Aviv stellten ihr Projekt „ Invitation is All You Need “ vor, das Gemini nutzt, um auf ein Smart Home zuzugreifen und es zu steuern. Das Besondere daran ist, dass der Angriff nicht vom Haus selbst ausgeht, sondern ein anderes, unabhängiges Google-Produkt nutzt, um den Prozess zu initiieren.

Vereinfacht gesagt, wird ein unerwünschter Prozess ausgelöst, sobald der Benutzer mit Gemini über eine bestimmte Eingabeaufforderung interagiert. Das Raffinierte daran ist, dass dieser Prozess für den Benutzer verborgen und unsichtbar ist. Das Forschungsteam erklärt detailliert die Funktionsweise und enthüllt, dass die sogenannte „Promptware“ ein großes Sprachmodell (LLM) verwendet, um schädliche Aktivitäten auszuführen.

Mithilfe von „Kurzzeit-Kontext-Poisoning“ und „Langzeit-Gedächtnis-Poisoning“ konnten die Forscher Gemini dazu bringen, Aktionen auszuführen, die ursprünglich nicht in der Eingabeaufforderung enthalten waren. Dadurch konnten Ereignisse aus verschiedenen Google-Apps gelöscht, ein Zoom-Anruf gestartet, der Standort eines Nutzers ermittelt, Smart-Home-Produkte gesteuert und vieles mehr werden. Diese Art von Angriff, bekannt als „indirekte Eingabeaufforderungsinjektion“, nutzt Schwachstellen in der Interaktion großer Sprachmodelle mit externen Daten aus.

Das Forschungsteam demonstriert die Funktionsweise auch anhand beeindruckender Tutorial-Videos. Es ist eine einfache und effektive Möglichkeit, das Leben eines Menschen ohne dessen Wissen zu zerstören. Die Menschen konzentrieren sich eher auf traditionelle Hacking-Methoden, daher könnte so etwas äußerst unerwartet sein.

Glücklicherweise meldete das Forschungsteam diese Probleme im Februar an Google und traf sich mit dem Team, um sie zu beheben. Google teilt mit, dass es „mehrschichtige Abwehrmaßnahmen implementiert hat, darunter: verbesserte Benutzerbestätigungen für sensible Aktionen, robustes URL-Handling mit Bereinigungs- und Vertrauensrichtlinien sowie erweiterte Claim-Injection-Erkennung mithilfe von Inhaltsklassifizierern“.

Das Projekt beleuchtet „theoretische indirekte Schadensinjektionstechniken, die Assistenten mit großen Sprachmodellen betreffen“. Diese könnten in naher Zukunft häufiger auftreten, da KI-Tools immer ausgefeilter werden. Auch hier steckt die Entwicklung noch in den Kinderschuhen und bedarf einer besseren Überwachung, um künftige Schäden zu verhindern. Da wir uns in unserem Alltag zunehmend auf KI verlassen, ist es entscheidend, diese potenziellen Risiken zu verstehen und zu minimieren.

Wenn Sie sich für Sicherheitslücken interessieren, können Sie Ihre Erkenntnisse jederzeit über das Bug Hunters-Programm von Google an Google melden. Es gibt verschiedene Möglichkeiten, sich einzubringen, da künstliche Intelligenz nur einen kleinen Teil der aktuell überwachten Systeme ausmacht. Bei schwerwiegenderen Problemen belohnt Google Ihre Arbeit, was Ihren Einsatz noch lohnenswerter macht.