Eine Sicherheitslücke in Google Gemini wird ausgenutzt, um KI-gestützte E-Mail-Zusammenfassungen in ein Phishing-Tool zu verwandeln.

In Google Gemini für Workspace wurde eine schwerwiegende Sicherheitslücke entdeckt , die Angreifer ausnutzen könnten, um Schadcode in E-Mails einzuschleusen. Dieser Code könnte dann verwendet werden, um ein KI-Tool zu manipulieren, Nutzer irrezuführen und sie auf Phishing-Webseiten umzuleiten.

Laut einem Bericht von Bleeping Computer beruht diese Sicherheitslücke auf der Erstellung von E-Mail-Zusammenfassungen, die völlig normal erscheinen, aber versteckte Schadanweisungen oder Warnungen enthalten. Diese Anweisungen werden von Gemini automatisch ausgeführt, sobald die Zusammenfassung generiert wird.

Der Angriffsmechanismus basiert auf der Einbettung unsichtbarer Gemini-Anweisungen in die E-Mail. Dies wird erreicht, indem die Anweisungen am Ende des Nachrichtentexts mithilfe von HTML- und CSS-Code ausgeblendet und die Schriftgröße auf Null und die Farbe auf Weiß gesetzt werden. Da dieser zusätzliche Text keine Anhänge oder Links enthält, wird er selbst von den besten Antiviren- oder E-Mail-Programmen nicht erkannt oder markiert. Dies erhöht die Wahrscheinlichkeit, dass er im Posteingang eines potenziellen Opfers landet.

Wenn der Zielnutzer die E-Mail öffnet und Gemini bittet, den Inhalt zusammenzufassen, führt die KI-Software die erkannten versteckten Anweisungen automatisch aus. Nutzer vertrauen oft darauf, dass Gemini Inhalte als Teil von Workspace verarbeiten kann, sodass die Warnung eher als legitime Warnung denn als bösartige Einschleusung wahrgenommen wird.

Im vergangenen Jahr wurden ähnliche Angriffe gemeldet, und obwohl einige Präventivmaßnahmen ergriffen wurden, um irreführende Antworten zu blockieren, ist die Technik im Allgemeinen weiterhin erfolgreich, was ihre anhaltende Verwendung erklärt.

Bleeping Computer berichtete, dass ein Google-Sprecher auf Nachfrage zu Schutzmaßnahmen gegen diese Art von Angriffen auf einen Blogbeitrag zu Code-Injection-Angriffen verwies und erklärte, dass einige Präventivmaßnahmen implementiert würden oder kurz vor der Veröffentlichung stünden. Google bestätigte zudem, dass es bisher keine Hinweise auf derartige Angriffe in freier Wildbahn gebe.

Figueroa, Leiter des GenAI-Bug-Bounty-Programms von Mozilla, das die Sicherheitslücke entdeckt hat, schlägt einige Maßnahmen zur Abwehr dieser Bedrohung vor: Sicherheitsteams sollten Inhalte, die im Nachrichtentext versteckt werden sollen, entfernen, neutralisieren oder ignorieren. Alternativ könnten sie Filter implementieren, die Gemini nach dringenden Nachrichten, URLs und Telefonnummern durchsuchen und diese zur weiteren Überprüfung durch die Benutzer markieren.

Derzeit sollten Sie beim Zusammenfassen von E-Mails mit Gemini vorsichtig sein, da Sie nie wissen, was sich darin verbergen könnte. Wir hoffen, dass Google bald einen Fix für diese neue Angriffsart veröffentlicht.