Google Gemini-Modell für böswillige Zwecke missbraucht: Möglichkeit zum Hacken und Steuern von Smart-Home-Systemen

Früher sorgten Hackerangriffe für Schlagzeilen, doch mittlerweile sind sie so alltäglich, dass sie die meisten Menschen nicht mehr überraschen. Erst wenn es ein großes Unternehmen trifft und Millionen von Menschen betrifft, gewinnt es an Bedeutung, wie es in T-Mobile-Hack-Fall betrifft 64 Millionen KundenDa es so viele Möglichkeiten gibt, Ihre Daten zu kompromittieren, sind für fast alle Arten digitaler Dienste oder Produkte Sicherheitsvorkehrungen vorhanden, um dies zu verhindern.

Natürlich sind diese Produkte nicht perfekt, und es gibt immer Möglichkeiten für böswillige Angriffe, wenn ein Angreifer schlau genug ist. Mit dem Aufkommen großer Sprachmodelle (LLMs) wie Googles Gemini besteht immer die Möglichkeit, dass diese KI-Tools für böswillige Zwecke eingesetzt werden. Obwohl uns bisher noch keine größeren Berichte vorliegen, gibt es doch welche. Wired hob ein Forschungsprojekt hervor Gemini wird genutzt, um auf ungeahnte Weise auf Ihr Leben zuzugreifen. Diese Studie zeigt, wie Gemini ausgenutzt werden könnte, um verschiedene Aspekte Ihres digitalen Lebens zu kontrollieren, möglicherweise auch die intelligenten Geräte in Ihrem Zuhause. Dies wirft im Zeitalter künstlicher Intelligenz Bedenken hinsichtlich Sicherheit und Datenschutz auf.

Diese Art von Angriff kann gefährlicher werden.

Ben Nassi, Stav Cohen und Or Yair von der Universität Tel Aviv stellten ihr Projekt vor: „Eine Einladung genügt„Dabei wird Gemini verwendet, um auf ein Smart Home zuzugreifen und es zu steuern. Das Interessante daran ist, dass der Angriff nicht innerhalb des Hauses beginnt, sondern auf ein anderes, unabhängiges Google-Produkt angewiesen ist, um den Prozess zu initiieren.

Einfach ausgedrückt: Wenn ein Benutzer Gemini mit einer bestimmten Eingabeaufforderung verwendet, wird eine unerwünschte Aktion ausgelöst. Das Clevere daran ist, dass die Aktion verborgen ist und der Benutzer sie nicht sehen kann. Er erklärt: Wie das funktioniert, erläutert das Forschungsteam im Detail., bei der „Promptware“ ein großes Sprachmodell (LLM) verwendet, um bösartige Aktivitäten auszuführen.

Mithilfe von „Kurzzeit-Kontext-Poisoning“ und „Langzeit-Gedächtnis-Poisoning“ konnten die Forscher Gemini dazu bringen, Aktionen auszuführen, die ursprünglich nicht in der Eingabeaufforderung enthalten waren. Dadurch konnten Ereignisse aus verschiedenen Google-Apps gelöscht, ein Zoom-Anruf gestartet, der Standort eines Nutzers ermittelt, Smart-Home-Produkte gesteuert und vieles mehr werden. Diese Art von Angriff, bekannt als „indirekte Eingabeaufforderungsinjektion“, nutzt Schwachstellen in der Interaktion großer Sprachmodelle mit externen Daten aus.

Das Forschungsteam demonstriert die Funktionsweise auch anhand beeindruckender Tutorial-Videos. Es ist eine einfache und effektive Möglichkeit, das Leben eines Menschen ohne dessen Wissen zu zerstören. Die Menschen konzentrieren sich eher auf traditionelle Hacking-Methoden, daher könnte so etwas äußerst unerwartet sein.

Glücklicherweise meldete das Forschungsteam diese Probleme im Februar an Google und traf sich mit dem Team, um sie zu beheben. Google teilt mit, dass es „mehrschichtige Abwehrmaßnahmen implementiert hat, darunter: verbesserte Benutzerbestätigungen für sensible Aktionen, robustes URL-Handling mit Bereinigungs- und Vertrauensrichtlinien sowie erweiterte Claim-Injection-Erkennung mithilfe von Inhaltsklassifizierern“.

Das Projekt beleuchtet „theoretische indirekte Schadensinjektionstechniken, die Assistenten mit großen Sprachmodellen betreffen“. Diese könnten in naher Zukunft häufiger auftreten, da KI-Tools immer ausgefeilter werden. Auch hier steckt die Entwicklung noch in den Kinderschuhen und bedarf einer besseren Überwachung, um künftige Schäden zu verhindern. Da wir uns in unserem Alltag zunehmend auf KI verlassen, ist es entscheidend, diese potenziellen Risiken zu verstehen und zu minimieren.

Wenn Sie sich für Sicherheitslücken interessieren, können Sie jederzeit Senden Sie Ihre Ergebnisse an Google Über das Bug Hunters-Programm gibt es vielfältige Möglichkeiten, sich einzubringen, da KI nur einen kleinen Teil dessen ausmacht, was derzeit überwacht wird. Bei schwerwiegenderen Problemen bietet Google auch eine Belohnung für die geleistete Arbeit an, was den Aufwand noch lohnender macht.