Lokale KI 4: Das passende Modell finden und zum ersten Mal chatten

Ziel

Nach diesem Teil können Sie einen Modellnamen lesen und wissen, was die Zahl darin bedeutet. Sie wählen ein Modell, das zu Ihrem Rechner passt, laden es herunter und führen Ihr erstes Gespräch mit einer KI, die vollständig auf Ihrem eigenen Gerät läuft.

Voraussetzungen

• Ollama ist installiert und läuft, wie in Lokale KI 3: Ollama oder LM Studio – den KI-Motor auswählen und installieren beschrieben.
• Sie kennen Ihre Ausstattungsklasse A, B oder C aus Teil 2.
• Eine Internetverbindung für den Download und je nach Modell 3 bis 20 GB freier Platz auf der Festplatte.

Schritt für Schritt

Schritt 1: Verstehen, was ein Modell ist

Ein Modell ist das Rezept in unserer Küche: eine große Datei, in der das antrainierte Wissen der KI steckt. Hergestellt werden solche Modelle von Technologiefirmen und Forschungseinrichtungen, die sie anschließend frei zum Herunterladen anbieten. Man spricht dann von offenen Modellen.

Die Modelle tragen die Namen ihrer Familie, ähnlich wie Automodelle den Namen ihrer Baureihe. Einige bekannte Familien:

• Gemma von Google
• Qwen von Alibaba
• Llama von Meta
• Mistral vom gleichnamigen französischen Unternehmen
• Granite von IBM

Hinweis: Die meisten offenen Modelle dürfen auch beruflich genutzt werden. Die genauen Bedingungen stehen jeweils auf der Modellseite unter dem Punkt „License“.

Schritt 2: Den Modellnamen entschlüsseln

In Ollama sehen Modellnamen etwa so aus: gemma4:12b oder qwen3.5:4b. Das wirkt kryptisch, folgt aber einem einfachen Muster.

Die Stellschrauben – Fachleute sagen Parameter – sind die Werte, die das Modell beim Training gelernt hat. Je mehr davon, desto mehr Wissen und Sprachgefühl passt hinein. Gleichzeitig wird die Datei größer und die Antwort langsamer. Wie diese Stellschrauben funktionieren, erklärt Vom Gehirn zum Sprachmodell: was neuronale Netze wirklich sind.

Eine Besonderheit bei Gemma: Manche Größen heißen e2b oder e4b. Das „e“ steht für „effektiv“. Diese Modelle sind eigens für Laptops und andere kleinere Geräte gebaut.

Achtung: Einige Modelle in der Ollama-Liste tragen den Zusatz cloud, zum Beispiel gemma4:31b-cloud. Diese laufen nicht auf Ihrem Rechner, sondern auf den Servern des Anbieters – Ihre Texte verlassen dann doch das Haus. Für lokale KI wählen Sie immer ein Modell ohne diesen Zusatz.

Schritt 3: Verstehen, warum Modelle „gekürzt“ werden

Ein Modell mit 12 Milliarden Stellschrauben wäre in seiner Originalfassung rund 24 GB groß – zu viel für die meisten Rechner. Deshalb werden die Modelle für den Hausgebrauch gekürzt. Fachleute nennen das Quantisierung.

Dabei wird jede Stellschraube mit weniger Nachkommastellen gespeichert – so, als würden Sie Preise auf volle Euro runden. Ein bisschen Genauigkeit geht verloren, aber die Datei schrumpft auf etwa ein Drittel. Im Bild der Küche: Das Rezept steht jetzt in Stichworten da. Fast alles Wichtige ist noch drin, aber es passt auf eine viel kleinere Arbeitsfläche.

Die gute Nachricht: Darum müssen Sie sich nicht selbst kümmern. Ollama lädt automatisch eine solche Kurzfassung herunter. Die Bezeichnung Q4 – die übliche Rundungsstufe – begegnet Ihnen vor allem in LM Studio. Höhere Zahlen wie Q8 bedeuten feiner gerundet, genauer und größer.

Schritt 4: Ein Modell für Ihre Klasse wählen

Jetzt verbinden Sie das Gelernte mit Ihrer Ausstattungsklasse aus Teil 2. Die Faustregel lautet: Die Downloadgröße des Modells muss kleiner sein als Ihre nutzbare Arbeitsfläche. Etwas Luft schadet nie.

Die folgende Tabelle nennt jeweils ein bewährtes Einstiegsmodell. Beide Familien, Gemma und Qwen, kommen gut mit deutschen Texten zurecht und können zusätzlich Bilder lesen.

Ihr Rechner	Einstiegsmodell	Download	Alternative
Klasse A mit 8 GB	qwen3.5:2b	ca. 3 GB	–
Klasse A mit 16 GB	qwen3.5:4b	ca. 3,5 GB	gemma4:e4b (ca. 7 GB, gründlicher, aber langsamer)
Klasse B mit 8 GB Grafikspeicher	qwen3.5:4b	ca. 3,5 GB	–
Klasse B mit 12 bis 16 GB Grafikspeicher	gemma4:12b	ca. 8 GB	qwen3.5:9b (ca. 7 GB)
Klasse C mit 16 GB	qwen3.5:4b	ca. 3,5 GB	gemma4:e4b (ca. 7 GB)
Klasse C mit 32 GB	gemma4:12b	ca. 8 GB	qwen3.5:9b (ca. 7 GB)
Klasse C mit 64 GB oder mehr	gemma4:26b	ca. 17 GB	qwen3.5:27b (ca. 17 GB)

Im Zweifel gilt: lieber eine Nummer kleiner anfangen. Ein kleines Modell, das flüssig antwortet, macht mehr Freude als ein großes, auf dessen Antwort Sie minutenlang warten. Ausprobieren kostet nichts – Sie können jederzeit ein zweites Modell dazuladen.

Sabine wählt für ihren Laptop der Klasse A mit 16 GB das Modell qwen3.5:4b.

Schritt 5: Das Modell herunterladen

1. Öffnen Sie das Ollama-Fenster.
2. Klicken Sie im Eingabebereich auf die Modellauswahl. Sie sehen eine Liste bekannter Modelle.
3. Wählen Sie Ihr Modell aus der Tabelle oder geben Sie seinen Namen ein, zum Beispiel qwen3.5:4b.
4. Schreiben Sie eine erste kurze Nachricht und senden Sie sie ab. Ist das Modell noch nicht auf Ihrem Rechner, lädt Ollama es jetzt herunter und zeigt den Fortschritt an. Je nach Internetverbindung dauert das einige Minuten.

Falls Ihr Wunschmodell in der Auswahl nicht auftaucht, gibt es einen zweiten Weg. Öffnen Sie unter Windows die PowerShell – drücken Sie dazu die Windows-Taste und tippen Sie „PowerShell“ – beziehungsweise auf dem Mac das Terminal. Geben Sie dort ein:

ollama pull qwen3.5:4b

Nach dem Download erscheint das Modell automatisch auch in der Auswahl des Ollama-Fensters.

Schritt 6: Das erste Gespräch führen

Jetzt wird es spannend. Geben Sie eine Aufgabe aus Ihrem Alltag ein. Sabine probiert es mit einer kurzen Notiz:

Formuliere aus dieser Notiz eine freundliche E-Mail an den Kunden:
Aufmaß-Termin bei Familie Berger muss verschoben werden, Monteur krank,
neuer Vorschlag Donnerstag 9 Uhr, bitte kurz bestätigen.

Beobachten Sie dabei drei Dinge:

• Die erste Antwort braucht etwas länger. Beim ersten Mal muss Ollama das Modell erst auf die Arbeitsfläche holen. Alle folgenden Antworten kommen schneller.
• Manche Modelle „denken“ sichtbar nach. Qwen und Gemma können vor der eigentlichen Antwort einen Denkschritt einlegen, den Ollama als „Thinking“ anzeigt. Das kostet etwas Zeit, verbessert aber oft das Ergebnis.
• Die Antwort entsteht Wort für Wort. Wie schnell, hängt von Ihrer Ausstattungsklasse ab – auf einem Laptop der Klasse A etwa in Lesegeschwindigkeit.

Zum Abschluss ein kleiner Beweis: Schalten Sie das WLAN aus und stellen Sie eine weitere Frage. Die KI antwortet trotzdem. Genau das ist lokale KI.

Hinweis: Ein Modell mit „Thinking“ antwortet bei einfachen Aufgaben manchmal umständlich. Wenn Ihnen die Antworten zu lange dauern, probieren Sie das nächstkleinere Modell aus der Tabelle oder schalten Sie den Denkschritt in der Ollama-App ab, sofern das Modell dies anbietet.

Zusammenfassung

• Ein Modell ist eine Datei mit dem antrainierten Wissen der KI. Offene Modelle wie Gemma oder Qwen gibt es kostenlos zum Herunterladen.
• Der Name verrät Familie und Größe: gemma4:12b heißt Gemma, Version 4, mit 12 Milliarden Stellschrauben. Modelle mit dem Zusatz cloud laufen nicht lokal.
• Ollama lädt automatisch eine gekürzte Fassung. Die Downloadgröße muss kleiner sein als Ihre nutzbare Arbeitsfläche.
• Das erste Gespräch zeigt: Die KI arbeitet auf Ihrem Gerät – auch ohne Internet.

Im nächsten Teil setzen Sie die KI für echte Aufgaben ein: Lokale KI 5: Vier Aufgaben aus dem Arbeitsalltag lokal erledigen.