Meine persönliche Erfahrung: Einen echten KI-Chatbot lokal auf einem iPhone ausführen

KI-gestützte Chatbots wie ChatGPT und Gemini benötigen üblicherweise Cloud-Computing. Doch was wäre, wenn Sie ein großes Sprachmodell (LLM) direkt auf Ihrem iPhone ausführen könnten – ohne Abonnement, Internetverbindung oder gar ohne Ihr Gerät zu verlassen? Dank einer Reihe schlanker und kompakter Apps und Modelle ist dies nun möglich.

Ich habe es selbst ausprobiert und hier ist, was Sie wissen müssen.

Führen Sie KI lokal auf dem iPhone aus

Open-Source-Modelle wie Llama und Qwen lassen sich jetzt direkt auf iOS ausführen. Diese Modelle werden mithilfe eines Verfahrens namens Quantisierung miniaturisiert, wodurch sie so komprimiert werden, dass sie in den Speicher des Mobiltelefons passen, ohne die Leistung wesentlich zu beeinträchtigen.

Aber es gibt einen wichtigen Punkt: Die Leistung hängt stark von Ihrem Gerät ab. Beispielsweise kann das iPhone 15 Pro oder 15 Pro Max, ausgestattet mit Apples neuestem Chip, Modelle mit bis zu 7 oder 8 Milliarden Parametern ausführen (wie das Llama 3.1 8B), während für ältere Telefone kleinere Modelle mit Parametern zwischen 1 und 3 Milliarden besser geeignet sind.

Apps, die es möglich machen

• LLM Farm (kostenlos): Der einfachste Einstieg. Sie können ein kleines Modell (z. B. Phi-3.5 Instruct) herunterladen und mit nur einem Klick offline ausführen. Schnelle Abfragen lassen sich damit überraschend einfach durchführen.
• MLC-Chat (kostenlos):
  Dies ist die App, die ich verwendet habe. Ich wollte LLM Farm ausprobieren, aber aus irgendeinem Grund war sie im Apple App Store nicht zum Download verfügbar. Da sie kostenlos ist, habe ich sie ausprobiert und sie hat einwandfrei funktioniert.
• Privater LLM (Gemeinschaftsprojekt): Diese Option ist eher ein DIY-Projekt als für den Durchschnittsnutzer. Die App enthält detaillierte Anleitungen zum Herunterladen von Modellen wie Llama 3.1 und Qwen auf Ihr iPhone. Wenn Sie gerne basteln und experimentieren, ist es definitiv einen Versuch wert.
• Apollo (kostenpflichtig): Ich habe Gutes darüber gehört, es aber selbst noch nicht ausprobiert. Lass mich in den Kommentaren wissen, was du von dieser datenschutzorientierten App hältst.

So führen Sie das Modell lokal aus

Nachdem Sie die gewünschte App heruntergeladen haben, öffnen Sie sie. Durchsuchen Sie dort die Liste der integrierten Modelle und wählen Sie eines aus (z. B. Phi-3.5 Instruct Q4 quantisiert). Ich habe mich für Qwen 2.5 entschieden, weil ich es schon länger nicht mehr benutzt hatte.

Nach dem Download wird das Formular auf Ihrem Gerät angezeigt (es kann zwischen einigen hundert Megabyte und mehreren Gigabyte groß sein). Von dort aus können Sie einfach mit dem Chatten beginnen.

Seien Sie realistisch. Jetzt ist nicht der richtige Zeitpunkt, um detaillierte Analysen oder lange, detaillierte Pläne zu verlangen. Bedenken Sie Folgendes:

• die Geschwindigkeit: Kleine Modelle (1–3 Milliarden Parameter) reagieren schneller, während große Modelle pro Symbol Sekunden benötigen können.
• Kontext: Fügen Sie keine ganzen Artikel ein; halten Sie die Eingabeaufforderungen kürzer.
• Ausgabe: Lokale Großsprachenmodelle sind möglicherweise weniger genau als ChatGPT, aber sie sind nützlich zum Notieren, für Zusammenfassungen, Fragen und Antworten und zum Verfassen einfacher Entwürfe.

Es hat mir Spaß gemacht, einige der Eingabeaufforderungen auszuprobieren. Nichts Kompliziertes; ich wollte nur sehen, welche Antworten ich auf die lokale Anfrage bekomme. Was Ihnen sofort auffällt, ist die Geschwindigkeit. Es ist erstaunlich, wie schnell ein großes Sprachmodell reagiert.

Ich habe die folgenden Behauptungen ausprobiert und insgesamt waren die Ergebnisse für mich zufriedenstellend.

• Fassen Sie die Unabhängigkeitserklärung in drei Punkten zusammen.
• „Schreiben Sie eine kurze Gutenachtgeschichte über einen Roboter und eine Katze.“
• „Geben Sie mir drei Ideen für das Abendessen mit Hühnchen, Reis und Brokkoli.“

Die Verwendung eines lokalen, großen Sprachmodells ist nicht dasselbe wie die Nutzung von ChatGPT-5 . Es wirkt definitiv simpel und ungeschliffen. Wenn Sie es ausprobieren, denken Sie daran, Ihre Anfragen kurz zu halten, da die Kontextfenster im Vergleich zu einem herkömmlichen Chatbot sehr begrenzt sind. Sie werden feststellen, dass die Antworten langsamer sind, wenn Sie das lokale, große Sprachmodell überlasten.

Warum sollten Sie das tun?

• Es fallen keine Abonnementgebühren an. Sie müssen nicht Ihr gesamtes Guthaben aufbrauchen, nur um es zu versuchen.
• Integrierte Privatsphäre. Alles bleibt auf Ihrem Gerät.
• Überraschend vielseitig. Ich war wirklich erstaunt über die Menge an Aufgaben, die die Miniatur bewältigen konnte. Jedes Mal, wenn ich ihre Grenzen austestete, meisterte sie die Herausforderung mit Leichtigkeit.

Das Endergebnis

Besitzen Sie ein iPhone 15 oder neuer und möchten Sie KI einmal genauer unter die Lupe nehmen? Dann sind Sie hier genau richtig. LLM Farm oder MLCChat bieten einen schnellen und kostenlosen Einstieg. Wenn Ihnen Datenschutz wichtig ist, sollten Sie Apollo ausprobieren. Und falls Sie gerne experimentieren und Ihre Einstellungen individuell anpassen möchten, ermöglicht Ihnen Private LLM, tiefer in die personalisierten Optionen einzutauchen.

Denken Sie daran, dass dies nicht die leistungsstarken Chatbots sind, die Sie gewohnt sind. Erwarten Sie also keine ChatGPT-ähnlichen Ergebnisse. Aber es ist ziemlich cool und futuristisch, Ihre eigene KI auf Ihrem iPhone auszuführen.