4.4 Lokale Modelle: llama.cpp und GGUF

Was sie sind und was du brauchst

Ein GGUF-Modell ist eine einzige Datei (manchmal in Teile aufgeteilt) mit den bereits komprimierten Gewichten des Modells: Die „Quantisierung“ (Q4_K_M, Q8_0, MXFP4…) gibt an, wie stark, und je niedriger sie ist, desto kleiner die Datei und desto ungenauer das Modell. Der llama.cpp-Server lädt das Modell in den Speicher der Grafikkarte, wenn er reicht, sonst verteilt er es auf Grafikkarte und RAM oder nutzt nur die CPU. Die Wahl erfolgt automatisch: llama.cpp installiert sich beim ersten Start des Servers, eine einzige Version pro System, geprüft mit ihrer SHA-256.

Modelle belegen viele GB und brauchen Speicher: Ein Modell mit 7 bis 9 Milliarden Parametern passt in etwa 8 GB, eines mit 30 Milliarden braucht mehr als 20. Sie sind weniger leistungsfähig als die Cloud-Modelle von Claude Code oder Codex, bleiben aber auf deinem PC.

Die Seite KI: der Bereich „Lokale Modelle“

Es ist der zweite Bereich der Seite KI, unter den Agenten; die Seite öffnet sich über die Aktivitätsleiste (das Funken-Symbol). Die Zahl neben dem Titel zählt die vollständigen Modelle. Die Zeilen: der llama.cpp-Server mit Status, Port und der Schaltfläche „Starten“ oder „Beenden“, dann die heruntergeladenen Modelle („Modell von Pi“, „im Speicher“, „Download angehalten“). Fährst du mit der Maus über den Titel, erscheinen „Modelle aktualisieren“ und „Ordner der Modelle öffnen“. Wählst du den Server oder ein Modell, stehen rechts oben „Starten“ oder „Beenden“, „Chat öffnen“ und „Schlüssel kopieren“. Darunter die Abschnitte:

Ein Modell auswählen und herunterladen

Neben jedem Modell sagt die Seite, ob es auf den PC passt, indem sie den benötigten Speicher mit dem größeren von RAM und Grafikspeicher vergleicht:

„nutzt Werkzeuge (für Agenten geeignet)“ bedeutet, dass das Modell Befehle aufrufen und Dateien lesen kann, wenn es mit Pi arbeitet; „nur Chat“ bedeutet, dass es sie mit den Agenten nicht gut nutzt (es schreibt den Aufruf als Text), aber zum Chatten im Browser taugt.

1. Wähle im „Katalog von Atollo“ ein Modell, das „passt“ und „Werkzeuge nutzt“, wenn du es für Pi willst.
2. Drück „Herunterladen“. Der Balken zeigt Prozent und GB; der Download läuft weiter, auch wenn du die Seite wechselst.
3. „Anhalten“ stoppt ihn und behält den bereits heruntergeladenen Teil; „Fortsetzen“ setzt dort wieder an, auch nachdem du Atollo geschlossen hast oder nach einem Netzwerkfehler.
4. Am Ende erscheint das Modell unter „Im Kit“ mit „im Kit“; läuft der Server, startet er neu, um es zu sehen.

Von Hugging Face

1. Gib unter „Hugging-Face-Repository“ Eigentümer/Name des Repositorys ein, zum Beispiel unsloth/Qwen3-8B-GGUF.
2. Drück „GGUF-Dateien suchen“: Das Kit liest den neuesten Commit und gruppiert die Dateien nach Quantisierung, mit Größe, Anzahl der Teile, ob es auf den PC passt, und der Lizenz.
3. Drück „Herunterladen“ bei der gewünschten Quantisierung: Das Kit lädt alle ihre Teile aus diesem Commit herunter oder keinen. Q4_K_M ist meist ein guter Kompromiss.

Manche Modelle sind zugangsbeschränkt: Du akzeptierst die Bedingungen auf der Seite des Modells und brauchst ein Hugging-Face-Token. Gib es unter „Hugging-Face-Token“ ein und drück „Token speichern“; „Token entfernen“ löscht es. Das Token wird im Kit gespeichert, nur für deinen Benutzer lesbar, und geht nur an huggingface.co: Es folgt nicht der Weiterleitung an das CDN, von dem die Dateien kommen.

Der Chat im Browser

1. Drück „Starten“ (oder überlass es „Mit Atollo starten“). Beim ersten Mal installiert das Kit llama.cpp.
2. Drück „Schlüssel kopieren“: Der Schlüssel des Servers kommt in die Zwischenablage.
3. Drück „Chat öffnen“: Der Chat von llama.cpp öffnet sich im Browser. Füge den Schlüssel in seinen Einstellungen ein, wähle dann das Modell und schreib.

Pi braucht diese Schritte nicht: Das Kit schreibt Port und Schlüssel in seine Konfiguration und schaltet den Server ein, bevor es ihn öffnet, wenn er ein lokales Modell verwendet.

Sicherheit und Ressourcen

• Der Server lauscht nur auf 127.0.0.1: Kein anderer PC im Netzwerk erreicht ihn, auch nicht mit aktiviertem lokalem Netzwerk in den Einstellungen.
• Jede Anfrage braucht den Schlüssel des Servers, der beim ersten Start erzeugt und dem Server als Datei übergeben wird, nie in der Befehlszeile (wo andere Programme des PCs ihn sehen würden). Ohne Schlüssel antwortet der Server mit 401.
• Ein Modell wird geladen, wenn Pi oder der Chat es anfordert, eines nach dem anderen, und nach zehn Minuten ohne Anfragen freigegeben: Der Speicher geht an den PC zurück.
• Der Server erscheint im Bereich „Aktivität“ (mit „Beenden“ und den Modellen im Speicher) und stoppt mit „Alles stoppen“, mit „Laufwerk entfernen“ und beim Schließen der App.
• Während du ein Modell löschst, stoppt der Server: Unter Windows lässt sich eine geöffnete Datei nicht löschen.