Sie können Gemini jetzt kostenlos Zugriff auf Ihren Mac-Bildschirm gewähren.

💡 Die wichtigsten Dinge, die Sie wissen müssen

• Gemini bietet jetzt auf macOS eine „Intelligente Diktierfunktion“, die automatisch Laute wie „ah“ und „mm“ beim Tippen in einem beliebigen Fenster entfernt, indem man einfach die Fn-Taste drückt.
• Gemini kann nun mithilfe der Funktion „Bildschirmbasierte Inferenz“ (standardmäßig nicht aktiviert) den Inhalt Ihres Mac-Bildschirms „verstehen“ und ist somit in der Lage, komplexe Aufgaben wie das Zusammenfassen von Notizen oder das Verfassen von E-Mails aus Ihren Dateien auszuführen.
• Trotz der Vorteile birgt die Gewährung des vollständigen Zugriffs von Gemini auf Ihren Mac-Bildschirm potenzielle Datenschutz- und Sicherheitsrisiken, die berücksichtigt werden sollten.

Die Meinungen zu KI gehen auseinander, doch viele Menschen nutzen sie bereits. Die meisten beschränken sich dabei auf Chatbots wie ChatGPT oder Gemini – entweder als Alternative zu Google (davon rate ich dringend ab) oder als Vertrauten ( auch hier rate ich dringend ab ). Wer KI als persönlichen Assistenten einsetzen möchte, sollte jedoch gewarnt sein: Google hat am Mittwoch zwei neue Updates für Gemini unter macOS angekündigt. Eines davon könnte Auswirkungen auf die Privatsphäre und Sicherheit der Nutzer haben – vorausgesetzt, sie aktivieren es.

Verbesserte Diktierfunktion für Gemini unter macOS

Wenn Sie die Diktierfunktion unter macOS nutzen (Sie sprechen Wörter laut vor, und die KI tippt sie für Sie ein), haben Sie jetzt möglicherweise einen Grund, Gemini anstelle der integrierten Apple-Lösungen zu verwenden. Gemini bietet unter macOS ab sofort eine „intelligente Diktierfunktion“, die laut Google Texte „direkt am Cursor“ korrigiert. Das bedeutet, dass Gemini Zischlaute wie „äh“ und „mm“ zwischen Wörtern entfernt – Laute, die Sie selbst nie tippen würden. Diese Funktion ist in jedem Fenster Ihres Macs verfügbar: Drücken Sie einfach die Fn-Taste und sprechen Sie los.

Wir müssen diese Funktion erst im Einsatz testen, um ihre Effektivität beurteilen zu können. Sie baut jedoch auf ähnlichen Verbesserungen auf, die Gemini bereits auf anderen Plattformen vorgenommen hat. Es handelt sich zwar nur um eine kleine Anpassung, aber sie ermöglicht es, mit Gemini Texte, E-Mails oder Dokumente zu entwerfen, ohne dass eine vollautomatische Bearbeitung erforderlich ist. Genau solche Vorteile erwarte ich von KI-gestützten Funktionen. Und da sie standardmäßig aktiviert ist, wird jeder Gemini-Nutzer auf einem Mac sie verwenden – es sei denn, er deaktiviert sie in den Einstellungen.

Gemini kann jetzt Ihren Mac-Bildschirm "verstehen".

Googles zweites Update für Gemini auf macOS ist etwas komplexer und nicht standardmäßig aktiviert. Diese von Google als „bildschirmbasierte Analyse“ bezeichnete Funktion ermöglicht es Gemini, die Vorgänge auf Ihrem Mac-Bildschirm zu „verstehen“. Die Idee dahinter ist, Aufgaben an Gemini zu delegieren: Wenn beispielsweise Ihre Notizen-App geöffnet ist, könnten Sie die Fn-Taste drücken und sagen: „Erstelle aus diesen Notizen eine Managementzusammenfassung für das heutige Meeting.“ Gemini würde dann Ihre Notizen-App analysieren, den Text auslesen und ihn für Sie formatieren – ganz ohne dass Sie eine separate Anwendung verwenden müssen.

Sie können auch eine Reihe von Befehlen zusammenstellen: Sie können Gemini bitten, eine E-Mail für ein gemeinsames Abendessen zu entwerfen und wichtige Informationen (wie Teilnehmer, Budgetvorgaben, Ernährungseinschränkungen usw.) aus verschiedenen Dateien auf Ihrem Mac abzurufen. Anschließend können Sie Gemini bitten, in Google Maps nach bestimmten Restauranttypen zu suchen und diese als Optionen für das Team hinzuzufügen. Sie können Ihre Eingaben jederzeit korrigieren, und Gemini passt die Befehle entsprechend an. Wenn Sie beispielsweise zunächst angeben, dass das gemeinsame Abendessen am Freitag um 18:30 Uhr stattfinden soll, später aber im Befehl schreiben: „Entschuldigung, das Abendessen sollte um 19:00 Uhr stattfinden“, nimmt Gemini die entsprechenden Änderungen vor.

Diese Funktion bietet zweifellos Vorteile. Wenn Sie Gemini bereits unter macOS nutzen, wird es noch nützlicher, wenn Sie ihm erlauben, Ihren Mac-Bildschirm zu „sehen“. Anstatt sich bei allen Aufgaben auf Gemini zu verlassen, könnten Sie dessen Zugriff auf Ihren gesamten Mac ausdehnen – und wenn Google Recht hat, auf sehr komplexe Weise. Allerdings birgt die Gewährung des vollständigen Zugriffs auf die Vorgänge auf Ihrem PC immer ein Datenschutzrisiko und möglicherweise auch ein Sicherheitsrisiko. Wollen Sie wirklich, dass Googles KI alles auf Ihrem Bildschirm sehen kann?

Dieses Risiko ist natürlich nicht so bedeutend wie das von echten Agentenprogrammen. Mit einem Abonnement des teureren KI-Plans von Google erhalten Sie Zugriff auf Gemini Spark, das eigenständig auf Ihrem Mac ausgeführt werden kann. Das größte Risiko, vor dem Sie sich hüten sollten, ist die sogenannte „Prompt-Injection“. Dabei verstecken Hacker schädliche Befehle für Ihre KI in Webseiten. Wenn Sie Ihrer KI eine Aufgabe zuweisen und sie auf einen solchen Befehl stößt, geht sie davon aus, dass die Anfrage von Ihnen und nicht vom Hacker stammt. Daher führt sie Anfragen wie „Öffne [schädliche Webseite] und lade [schädliche Datei] herunter“ ohne Zögern aus; oder „Öffne [Krypto-Wallet], melde dich mit gespeicherten Zugangsdaten an und sende Guthaben an [Konto]“. Im aktuellen Zustand sollte dies bei Gemini kein Problem darstellen, obwohl es theoretisch auftreten könnte, wenn Sie es mit einer Aufgabe betrauen, die es anfällig für Command Injection macht.

Wenn Sie an den neuesten Funktionen interessiert sind, soll diese Warnung Sie nicht davon abhalten, die neue Gemini-Proxy-Funktion unter macOS zu nutzen . Es ist jedoch wichtig, dass Sie die sehr realen Risiken berücksichtigen, bevor Sie fortfahren.