So installieren Sie die neuesten großen Sprachmodelle (LLMs) lokal auf einem Mac

In den letzten Jahren haben große Sprachmodelle (LLMs) aufgrund ihrer Fähigkeit, menschenähnliche Texte zu generieren und bei verschiedenen Aufgaben zu helfen, zunehmend an Popularität gewonnen. Nicht alle Modelle sind Open Source, aber nahezu jedes große Technologieunternehmen bietet eine Version zum Herunterladen und Ausführen an.

Das lokale Ausführen dieser Formulare auf Ihrem Mac kann sowohl aus Datenschutz- als auch aus Kostengründen vorteilhaft sein. In diesem Artikel erfahren Sie, wie Sie LLMs mit Ollama installieren und ausführen – einem leistungsstarken Tool für Entwickler und Einsteiger. Außerdem stellen wir Ihnen einige GUI-Tools vor, die den Prozess für diejenigen vereinfachen, die das macOS-Terminal nicht verwenden möchten.

Auf diese Weise erhalten Sie Zugriff auf die neuesten KI-gestützten Textvorlagen von [Google], [Microsoft], [Meta] und anderen KI-Unternehmen wie [Mistral] und [DeepSeek].

LLMs verstehen: Was bedeuten die Parameter?

Bevor wir uns mit dem Installationsprozess befassen, klären wir zunächst, was Zahlen wie „ 7B “ oder „ 14B “ im Zusammenhang mit LLMs bedeuten. Diese Zahlen geben die Größe des Modells in Bezug auf die Parameter (in Milliarden) an, also im Wesentlichen die „Regler und Schalter“, die während des Trainings feinjustiert werden.

Eine größere Anzahl an Parametern ermöglicht es dem Modell, komplexere Muster und Zusammenhänge in der Sprache zu erfassen, was potenziell zu einer besseren Leistung führt. Es ist jedoch wichtig zu beachten, dass mehr Parameter nicht immer bessere Ergebnisse garantieren; die Qualität der Trainingsdaten und die dem Modell zur Verfügung stehenden Rechenressourcen spielen ebenfalls eine wichtige Rolle.

System Anforderungen

Sie müssen sicherstellen, dass Ihr [Mac] mindestens die folgenden Spezifikationen aufweist:

• macOS 10.15 oder neuer (macOS 13 oder neuer empfohlen)
• Mindestens 8 GB RAM (16 GB oder mehr empfohlen)
• 10 GB freier Speicherplatz (das Minimum, das für die kleinsten Modelle erforderlich ist; fortgeschrittenere Modelle mit einer maximalen Anzahl von Parametern benötigen etwa 700 GB).
• [Intel] Mehrkernprozessor oder [Apple Silicon] Prozessor (M2 oder höher bevorzugt)

Installieren Sie Ollama

Ollama ist ein Open-Source-Tool, mit dem Sie LLMs direkt auf Ihrem lokalen Rechner ausführen können. So geht's:

1. Ollama herunterladen: Besuchen Sie die Website Ollama Laden Sie die macOS-Version herunter. Alternativ können Sie sie auch mit [Homebrew] installieren, indem Sie folgenden Befehl ausführen: brew install ollama In Ihrem Terminal.

1. Installieren Sie OllamaWenn Sie die Installationsdatei heruntergeladen haben, doppelklicken Sie darauf und folgen Sie dem Installationsassistenten. Wenn Sie Homebrew verwenden, fahren Sie mit Schritt 4 fort.

1. Der nächste Schritt für den Installateur ist einfach: Er muss nur noch auf die Schaltfläche klicken. تثبيتSie werden dann nach Ihrem Administratorpasswort gefragt.

1. Lauf OllamaÖffnen Sie ein Terminalfenster und starten Sie Ollama als Dienst mit dem Befehl brew services start ollamaDadurch wird Ollama unter der Adresse verfügbar sein. http://localhost:11434/.
2. Laden Sie das Modell herunter und führen Sie es aus.Verwenden Sie den Befehl ollama pull <model-name> Um eine Vorlage herunterzuladen, dann der Befehl ollama run <model-name> Um es auszuführen. Zum Beispiel, um ein Modell auszuführen DeepSeek-R1, benutze den Befehl ollama pull deepseek-r1 Im Anschluss daran folgte die Bestellung ollama run deepseek-r1.
3. Um eine größere Version der Vorlage herunterzuladen, fügen Sie einfach zwei vertikale Punkte gefolgt von der gewünschten Größe hinzu. Beispiel: Um eine Vorlage herunterzuladen 14 Milliarden DeepSeekSie werden den Befehl verwenden ollama laufe Deepseek-r1:14bAuf der Ollama-Website können Sie auf eines der Formulare klicken, und Ihnen werden alle verschiedenen Befehle für jede Version angezeigt.

Die vollständige Liste der Ollama-Formulare finden Sie hier. Alternativ können Sie den zweiten Befehl wie oben beschrieben verwenden; falls dieser noch nicht installiert ist, wird das Formular zunächst heruntergeladen und anschließend ausgeführt.

Nachdem Sie nun die drei rechtwinkligen Pfeile (>>>) gesehen haben, können Sie mit der Eingabe von Befehlen in das Formular beginnen.

Das war's! Sie können jetzt lokal mit Ihrem KI-gestützten LLM interagieren, ohne sich Gedanken über Kosten, übermäßige Nutzung oder die Möglichkeit für Dritte machen zu müssen, Ihre Nachrichten zu lesen. Das ist ideal, wenn Sie sensible oder persönliche Themen mit einem KI-gestützten LLM besprechen möchten, aber nicht möchten, dass ein großer Technologiekonzern Ihre Gedanken mitliest.

Verwendung von grafischen Benutzeroberflächen-Tools mit Ollama

Ollama ist zwar leistungsstark und effizient für Entwickler, doch manche Benutzer bevorzugen eine grafische Benutzeroberfläche (GUI) zur Interaktion mit LLMs. Hier sind einige Tools, die eine GUI-Oberfläche für Ollama bereitstellen können:

• • • Ollama GUIDies ist eine kostenlose Open-Source-Anwendung für macOS-Nutzer, die mit SwiftUI entwickelt wurde. Sie bietet eine ansprechende Benutzeroberfläche und ist eine hervorragende Option für alle, die lokal auf LLM-Formulare zugreifen möchten, ohne ein Terminal zu verwenden.
    • Ollama-BenutzeroberflächeEine einfache, HTML-basierte Web-Benutzeroberfläche, mit der Sie Formulare direkt im Browser definieren und bearbeiten können. Zudem ist eine Chrome-Erweiterung für den einfachen Zugriff verfügbar.
    • Chatbox-KIDies ist die einfachste Option für Anfänger, und ich erkläre die Anwendung weiter unten. Beachten Sie, dass Sie den Chatbox AI-Dienst nicht benötigen. Dieser ist ein Abonnement, mit dem Sie auf alle LLM-Vorlagen zugreifen können, ohne Ollama selbst installieren zu müssen.

Um die beste Chatbox AI-Benutzeroberfläche zu nutzen, gehen Sie zur Downloadseite und laden Sie die Version für Ihren Mac herunter.

Öffnen Sie anschließend das Installationsprogramm und starten Sie das Programm. Auf dem ersten Bildschirm erscheint ein Popup-Fenster mit Anweisungen zur Verwendung von Chatbox AI.

Sie müssen auf die Schaltfläche „Meinen eigenen API-Schlüssel / mein lokales Modell verwenden“ klicken.

Wählen Sie anschließend die Ollama API als Anbieter des KI-Modells aus.

Chatbox AI erkennt automatisch, dass Ollama läuft, und setzt den API-Host auf den Standardwert: Loopback-IP-Adresse und Port 11434. Hier müssen Sie nichts ändern. Im Formular sollten die zuvor über das Terminal installierten Formulare angezeigt werden. In meinem Fall ist es das Formular für Ollama 3.2.

Kehren Sie zum Startbildschirm der App zurück und tippen Sie auf „ Nur chatten“ oder „Neuer Chat“. Stellen Sie sicher, dass unten rechts die richtige Vorlage ausgewählt ist. Sie können die Vorlage jederzeit ändern. Ich empfehle jedoch, für jede verwendete Vorlage einen neuen Chat zu erstellen, damit Sie die Unterschiede leichter erkennen können.

Alternative Werkzeuge zum lokalen Ausführen von LLM-Modellen

Wenn Sie nach Alternativen zu Ollama suchen oder von Anfang an eine benutzerfreundlichere Oberfläche bevorzugen, ist LM Studio eine weitere hervorragende Option. Es bietet eine intuitive Benutzeroberfläche zum Erkunden und Anwenden verschiedener KI-Modelle, die Sie einfach herunterladen und ausführen können. LM Studio ist für Linux, Mac und Windows verfügbar und bietet Funktionen wie die Anpassung von Modellparametern und Chatverlauf. Es ist derzeit kostenlos, weshalb ich es dem Abonnementdienst Chatbox AI vorziehe.

Fazit

Die lokale Ausführung großer Sprachmodelle (LLMs) auf Ihrem Mac ist wichtig für alle, die mehr Kontrolle über ihre KI-Anwendungen erlangen und dem Datenschutz Priorität einräumen möchten. Mit Tools wie Ollama und den bereits erwähnten grafischen Benutzeroberflächen, die die Integration von LLMs in Ihren Workflow vereinfachen, können Sie sicher neue Produktivitäts- und Kreativitätspotenziale erschließen.

Für die Einrichtung einer lokalen LLM-Umgebung ist jedoch ein gewisses Verständnis der Parameter und ihrer Auswirkungen auf die Leistung der Modelle auf Ihrem spezifischen System erforderlich. Am besten lernen Sie dies, indem Sie mit verschiedenen Modellen experimentieren und herausfinden, welche die besten Ergebnisse liefern. Sobald Sie dieses Konzept verstanden haben, können Sie fundiertere Entscheidungen darüber treffen, welche Modelle Sie verwenden und wie Sie deren Leistung an Ihre spezifischen Bedürfnisse anpassen.