Lokale KI 1: Was lokale KI bedeutet und wann sie sich lohnt

Ziel

Nach diesem Teil können Sie erklären, was es heißt, KI „lokal“ zu nutzen, und worin der Unterschied zu Diensten wie ChatGPT liegt. Sie wissen, in welchen Fällen sich der lokale Weg für Sie lohnt und wo seine Grenzen liegen. Außerdem lernen Sie das Bild kennen, das Sie durch die ganze Serie begleitet: vier Schichten, die zusammen ein lokales KI-System ergeben.

Voraussetzungen

Keine. Sie sollten einen Computer bedienen und ein Programm installieren können – mehr braucht es nicht. Falls Ihnen Begriffe wie „Sprachmodell“ noch ganz neu sind, hilft Ihnen Was ist künstliche Intelligenz? als Einstieg. Notwendig ist das aber nicht.

Das Beispiel dieser Serie

Sabine Kraus ist Assistentin der Geschäftsführung in der Schreinerei Holzmann, einem Betrieb mit vierzehn Mitarbeitenden. Ihr Arbeitstag besteht zu einem guten Teil aus Text: Kundenanfragen beantworten, Angebote nachfassen, die Notizen aus den Baubesprechungen ins Reine schreiben.

Sabine weiß, dass KI ihr dabei viel Arbeit abnehmen könnte. Aber in jeder dieser E-Mails stehen Namen, Adressen und Preise. Ihr Chef hat eine klare Haltung: „Kundendaten geben wir nicht einfach an irgendeinen Dienst im Internet.“ Sabines Frage lautet also: Geht KI auch, ohne dass die Daten das Haus verlassen?

Die Antwort ist ja. Wie das funktioniert, sehen wir uns Schritt für Schritt an.

Schritt für Schritt

Schritt 1: Verstehen, wohin Ihre Texte bei Cloud-KI reisen

Wenn Sie heute einen bekannten KI-Dienst wie ChatGPT nutzen, passiert Folgendes: Ihr Text wird über das Internet an den Anbieter geschickt. Dort, in einem großen Rechenzentrum, steht das eigentliche Sprachmodell – also das Programm, das Sprache versteht und Antworten formuliert. Es berechnet die Antwort und schickt sie zurück auf Ihren Bildschirm.

Man nennt das Cloud-KI. „Cloud“, englisch für Wolke, steht dabei für Rechner eines Anbieters, die Sie über das Internet mitbenutzen, ohne sie je zu sehen. Das ist bequem und für viele Aufgaben völlig in Ordnung. Es bedeutet aber auch: Jeder Text, den Sie eingeben, verlässt Ihren Rechner.

Bei lokaler KI ist das anders. Das Sprachmodell liegt als Datei auf Ihrem eigenen Computer und rechnet auch dort. Ihre Frage geht nirgendwohin – sie wird auf Ihrem Gerät beantwortet.

Schritt 2: Vorteile und Grenzen abwägen

Lokale KI ist kein Ersatz für alles, sondern ein zusätzliches Werkzeug. Damit Sie einschätzen können, wann es passt, hier die wichtigsten Punkte im Überblick.

Was für lokale KI spricht:

• Ihre Daten bleiben im Haus. Texte, Dokumente und Fragen werden nicht an einen fremden Anbieter übermittelt.
• Sie funktioniert ohne Internet. Nur zum einmaligen Herunterladen brauchen Sie eine Verbindung – danach arbeitet die KI auch im Zug oder auf der Baustelle.
• Es gibt keine laufenden Kosten. Kein Abo, keine Abrechnung pro Anfrage. Sie nutzen den Rechner, den Sie ohnehin haben.
• Sie behalten die Kontrolle. Sie entscheiden, welches Modell läuft, und niemand ändert es über Nacht.

Wo lokale KI an Grenzen stößt:

• Die Modelle sind kleiner. Die großen Cloud-Dienste laufen auf riesigen Rechenzentren. Was auf einen Bürorechner passt, ist bei sehr anspruchsvollen Aufgaben spürbar schwächer.
• Das Tempo hängt von Ihrem Rechner ab. Auf einem einfachen Laptop entsteht die Antwort deutlich langsamer als bei einem Cloud-Dienst.
• Es gibt kein aktuelles Wissen. Eine lokale KI kann nicht im Internet nachsehen. Sie weiß nur, was sie bis zu ihrem Trainingsstand gelernt hat.
• Sie kümmern sich selbst. Updates und die Auswahl neuer Modelle liegen bei Ihnen – das ist aber mit wenigen Klicks erledigt.

Merksatz: Lokale KI ersetzt die großen Cloud-Dienste nicht in jeder Hinsicht. Sie ist das Werkzeug für alles, was das Haus nicht verlassen soll.

Hinweis: Auch bei lokaler KI gelten die Regeln Ihres Betriebs zum Umgang mit Kundendaten weiter. Der entscheidende Unterschied ist, dass die Daten nicht an einen fremden Anbieter übermittelt werden.

Schritt 3: Die vier Schichten kennenlernen

Ein lokales KI-System klingt nach viel Technik. Tatsächlich besteht es aus nur vier Teilen, die aufeinander aufbauen. Am leichtesten merken Sie sich das mit einem Bild aus der Küche.

Gehen wir die vier Schichten einmal von unten nach oben durch:

1. Die Hardware ist die Küche. Gemeint ist Ihr Rechner selbst – und vor allem sein Speicher, denn der bestimmt, wie viel Arbeitsfläche zur Verfügung steht. Ein großes Rezept braucht eine große Arbeitsfläche. Darum geht es in Teil 2.
2. Die Host-Software ist der Koch. Ein Modell allein tut nichts, so wie ein Rezept allein kein Essen kocht. Es braucht ein Programm, das das Modell lädt und ausführt. Die bekanntesten heißen Ollama und LM Studio. Darum geht es in Teil 3.
3. Das Modell ist das Rezept. Es ist eine Datei, in der das antrainierte Wissen der KI steckt. Solche Modelle werden von Firmen und Forschungseinrichtungen frei zum Herunterladen angeboten. Welches zu Ihnen passt, klären wir in Teil 4.
4. Die Oberfläche ist der Tresen. Hier geben Sie Ihre Bestellung auf – also Ihre Frage – und bekommen das Ergebnis. Für den Anfang reicht das Chatfenster, das Ollama und LM Studio gleich mitbringen. Wer mehr möchte, setzt einen KI-Assistenten wie Hermes Desktop darauf. Das zeigen die Teile 5 und 6.

Der Vorteil dieses Bildes: Wenn später etwas hakt, wissen Sie, in welcher Schicht Sie suchen müssen. Antwortet die KI sehr langsam, liegt es meist an der Küche. Versteht sie Sie schlecht, liegt es eher am Rezept.

Schritt 4: Prüfen, ob lokale KI zu Ihnen passt

Bevor Sie Zeit investieren, lohnt eine kurze Selbstprüfung. Lokale KI ist für Sie wahrscheinlich ein Gewinn, wenn Folgendes zutrifft:

• Sie arbeiten regelmäßig mit Texten, in denen Namen, Preise oder interne Informationen stehen.
• Sie möchten KI ausprobieren, ohne gleich ein Abo abzuschließen.
• Sie arbeiten öfter dort, wo das Internet schwach ist.
• Ihr Rechner ist nicht älter als etwa fünf Jahre und hat mindestens 16 GB Arbeitsspeicher. Wie Sie das prüfen, zeigt Teil 2.

Weniger geeignet ist lokale KI, wenn Sie vor allem tagesaktuelle Informationen brauchen oder sehr komplexe Auswertungen erwarten, für die nur die größten Cloud-Modelle genügen.

Für Sabine fällt die Prüfung eindeutig aus: viele Kundentexte, ein Laptop aus dem vorletzten Jahr und ein Chef, der Wert auf Datenschutz legt. Sie macht weiter – und als Erstes schaut sie sich ihren Rechner genauer an.

Zusammenfassung

• Bei Cloud-KI reisen Ihre Texte zum Anbieter und zurück. Bei lokaler KI läuft das Modell auf Ihrem eigenen Rechner, und die Daten bleiben im Gerät.
• Lokale KI punktet bei Datenschutz, Offline-Arbeit und Kosten. Ihre Grenzen liegen bei Modellgröße, Tempo und aktuellem Wissen.
• Jedes lokale KI-System besteht aus vier Schichten: Hardware, Host-Software, Modell und Oberfläche – oder im Bild: Küche, Koch, Rezept und Tresen.

Im nächsten Teil prüfen Sie, wie groß Ihre Küche ist: Lokale KI 2: Reicht mein Rechner? Die Hardware prüfen.