Wie man ein großes lokales Sprachmodell auf dem Smartphone ausführt: und warum das sinnvoll sein könnte
Erfahren Sie, wie Sie ein großes Sprachmodell (LLM) lokal auf Ihrem Mobiltelefon ausführen und welche Vorteile Sie aus dieser Erfahrung ziehen können.
Die wichtigsten Dinge, die Sie wissen müssen
- Die lokale Ausführung großer Sprachmodelle auf dem Smartphone bietet vollständige Privatsphäre und Offline-Zugriff und reduziert so die Abhängigkeit von Cloud-Diensten.
- Um LLM-Modelle lokal effizient auszuführen, benötigt Ihr Telefon mindestens 6 GB RAM, vorzugsweise 8 GB oder mehr für größere Modelle. Modelle mit 1-2 Milliarden Parametern sind die beste Wahl für Telefone mit weniger Speicher.
- Anwendungen wie Atomic Chat oder PocketPal AI können verwendet werden, um kleine Sprachmodelle (SLMs) wie Gemma, Llama oder Phi-4 auszuführen, wobei der Fokus auf Modellen mit weniger Parametern liegt, um eine bessere Kompatibilität und Leistung auf dem Telefon zu erzielen.
Mittlerweile sind große Sprachmodelle (LLMs) verfügbar, die so kostenlos sind, dass ihre lokale Ausführung auf einem Computer üblich geworden ist und in mancher Hinsicht sogar eine bessere Idee darstellt – sie sind privater, da man nichts in die Cloud senden muss, und sie funktionieren offline.
Die Ausführung dieser fortschrittlichen KI- Modelle auf Smartphones war nicht immer einfach (weshalb die fortschrittlichsten Siri-KI-Funktionen eines der neuesten iPhones erfordern), doch mittlerweile sind die meisten Mobiltelefone leistungsstark genug und einige Modelle klein und effizient genug, um dies praktisch möglich zu machen. Weitere Informationen finden Sie in unserem Artikel zur Ausführung eines lokalen KI-Modells auf einem iPhone .
Die Vorteile ähneln denen eines Desktop-Computers: Sie verfügen über ein großes, stets verfügbares und privates Sprachmodell (LLM), ohne Daten an Google, OpenAI, Anthropic oder andere Drittanbieter zu senden. Die Nachteile sind eine geringere und eingeschränktere KI-Leistung, da Sie mit kleineren, weniger leistungsstarken Modellen arbeiten, und möglicherweise eine kürzere Akkulaufzeit (KI-Konversationen können sehr ressourcenintensiv sein).
Selbst mit diesen Kompromissen wird die native KI, die Sie auf Ihrem Telefon nutzen können, immer noch in der Lage sein, alltägliche Aufgaben und Gespräche mit hoher Effizienz zu erledigen, sodass Sie Gemini oder Siri (und möglicherweise Ihre anderen KI-Abonnements) ruhen lassen können.
Das Telefon, das Sie zum Ausführen eines lokalen großen Sprachmodells (LLM) benötigen
Alle iPhones und Android-Smartphones der letzten zwei Jahre sollten ein Local Large Language Model (LLM) problemlos ausführen können; der Aufstieg der künstlichen Intelligenz hat die Hersteller dazu veranlasst, ihre Geräte für diesen Anwendungsfall zu entwickeln. Ältere Smartphones funktionieren zwar auch, allerdings benötigen Sie möglicherweise kleinere Modelle und müssen mit einer geringeren Leistung rechnen.
Der Arbeitsspeicher (RAM) ist für die Ausführung eines KI-Modells wichtiger als die Prozessorleistung (Chipsatz). Für eine zufriedenstellende Performance benötigen Sie mindestens 6 GB, für größere Modelle sind 8 GB oder mehr empfehlenswert. Stehen Ihnen weniger als 8 GB RAM zur Verfügung, sollten Sie Modelle mit 1–2 Milliarden Parametern (B) verwenden. B steht dabei für Milliarden und beschreibt die Anzahl der Parameter im Modell (die dessen Intelligenz und Vielseitigkeit widerspiegelt).
Was den Speicherplatz angeht, besteht kein Grund zur Sorge. Selbst die größten Modelle mit 7–8 Milliarden Parametern belegen nicht mehr als 5 GB auf Ihrem Smartphone. Daher können Sie mehrere KI-Modelle auf Ihrem Gerät speichern und je nach Bedarf zwischen ihnen wechseln.
Wer heute ein neues iPhone oder Android-Smartphone der neuesten Generation kauft, erhält vorinstallierte KI-Modelle für schnelle Aufgaben, die offline (ohne Internetverbindung) erledigt werden können. Diese von Apple und Google entwickelten Modelle stehen dem Nutzer jedoch nicht direkt zur Verfügung; sie werden von Siri AI und Gemini genutzt, wenn sie als beste Option gelten.
Anwendungen und Modelle, die Sie zum Ausführen eines lokalen großen Sprachmodells (LLM) benötigen
Es gibt verschiedene Apps , mit denen Sie KI-Modelle auf Ihr Smartphone bringen und ausführen können. Zu den beliebtesten gehören Atomic Chat ( für Android und iOS ) und PocketPal AI (ebenfalls für Android und iOS ). Sie unterscheiden sich in einigen Punkten: Atomic Chat lässt sich beispielsweise leichter skalieren, um LLM-Modelle auf Desktop-Computern einzubinden, während PocketPal AI etwas ressourcenschonender ist. Beide eignen sich jedoch hervorragend für den Einstieg in die native KI-Nutzung auf Ihrem Smartphone.
Was die Modelle selbst betrifft – manchmal auch SLMs oder Small Language Models genannt, da sie für den Einsatz in eingeschränkten Umgebungen konzipiert sind –, so gibt es auch hier zahlreiche Optionen. Gemma ist beispielsweise der Oberbegriff für die Open-Source-Modelle, die Google kostenlos zur Verfügung stellt. Einige dieser Modelle sind speziell für den Einsatz in beengten Umgebungen und mit wenigen Ressourcen (wie auf Ihrem Smartphone) entwickelt.
Meta bietet eigene Open-Source-KI-Modelle namens Llama an, während Microsoft mit Phi-4-Modellen arbeitet, die ebenfalls für ihre Effizienz bekannt sind. Suchen Sie einfach nach Versionen mit möglichst wenigen Parametern vor dem Buchstaben „B“ (oder nach solchen mit dem Wort „mini“ im Namen), um die Pakete zu finden, die am besten zu Ihrem Smartphone passen.
Aktuell basieren diese kleinen Sprachmodelle (SLMs) hauptsächlich auf Texten, obwohl einige neuere, größere und fortschrittlichere Modelle auch Bilder und Dateien analysieren können. Wenn Sie Bilder und Videos erstellen möchten, müssen Sie – zumindest bis zum nächsten technologischen Durchbruch – auf herkömmliche cloudbasierte KI-Modelle zurückgreifen.
Experimentieren mit einem lokalen großen Sprachmodell (LLM) auf Ihrem Handy
Um zu sehen, wie nützlich eines dieser nativen KI-Modelle auf einem Smartphone sein könnte, installierte ich PocketPal AI und eines der kleineren Gemma-Modelle von Google auf meinem Pixel 9 Pro – zwar kein Flaggschiff-Smartphone mehr, aber auch noch nicht allzu alt. Ich war beeindruckt vom kleinen Auswahlassistenten von PocketPal AI, der einen direkt zu einem passenden KI-Modell für das jeweilige Smartphone führt.
Nachdem Sie einige Vorlagen heruntergeladen und installiert hatten, konnten Sie diese problemlos laden und verwenden. PocketPal AI bietet außerdem Zugriff auf optionale „Begleiter“ (daher der Name der App), mit denen Sie die KI-Vorlagen individuell anpassen können. Die standardmäßige Pip-Option scheint eine passende Alternative zu den Funktionen gängiger KI-Apps wie Gemini oder Siri zu sein . Die Anleitungs- und Folgefunktionen arbeiten nahtlos, und Ihr Chatverlauf wird standardmäßig gespeichert.
Bei der Ausführung von LLM-Modellen auf dem Smartphone ist eine spürbare (und erwartbare) Verzögerung der Reaktionszeiten festzustellen. Zudem besteht ein deutlicher Unterschied in der Größe der KI-Modelle: Kleinere Modelle liefern deutlich schnellere Ergebnisse, auch wenn diese weniger intelligent oder umfassend sind. Es lohnt sich, mit verschiedenen Modellen zu experimentieren, um das optimale Verhältnis von Leistung und Geschwindigkeit für Ihre Bedürfnisse zu finden.
Da es an Web-Suchmöglichkeiten und aktuellem Wissen mangelt, eignet sich diese Option ideal für Brainstorming, die Analyse und Überarbeitung bestehender Texte, das Verfassen neuer Texte, das schnelle Sammeln von Fakten oder das Anstellen von Vergleichen (z. B. „Schlage einen Film vor, der ähnlich ist wie …“). Wie immer ist jedoch Vorsicht geboten, da solche Modelle irreführende Informationen liefern können. Informationen, die von KI bereitgestellt werden, sind daher niemals als garantiert korrekt anzusehen.
Kommentarfunktion ist geschlossen.