Lokale KI 6: Einen KI-Assistenten wie Hermes Desktop anbinden

Ziel

Nach diesem Teil wissen Sie, was ein KI-Assistent über einen einfachen Chat hinaus leisten kann und wann sich das für Sie lohnt. Sie prüfen, ob Ihr Rechner dafür bereit ist, und kennen die Schritte, mit denen Sie den Assistenten Hermes Desktop an Ihre lokale KI in Ollama anschließen. Zum Schluss testen Sie Ihr Wissen aus der ganzen Serie.

Voraussetzungen

• Ollama läuft mit einem Modell, und Sie haben es wie in Lokale KI 5: Vier Aufgaben aus dem Arbeitsalltag lokal erledigen bereits im Alltag ausprobiert.
• Für ein flüssiges Arbeiten empfiehlt sich ein Rechner der Klasse B mit mindestens 12 GB Grafikspeicher oder ein Mac der Klasse C mit 32 GB oder mehr. Mit weniger geht es auch, aber langsamer.

Schritt für Schritt

Schritt 1: Den Unterschied zwischen Chat und Assistent verstehen

Bisher haben Sie mit Ihrer KI gechattet: Sie geben etwas hinein, die KI antwortet. Alles, was sie wissen soll, müssen Sie ihr selbst mitbringen – per Kopieren oder per Datei, die Sie ins Fenster ziehen.

Ein KI-Assistent geht einen Schritt weiter. Er kann selbst Werkzeuge benutzen: Dateien in einem Ordner öffnen und lesen, neue Dateien anlegen, sich Dinge über mehrere Gespräche hinweg merken oder Aufgaben zu festen Zeiten erledigen. Man spricht auch von einem KI-Agenten. Wie sich Sprachmodell und Agent unterscheiden, erklärt Sprachmodell, Denker, Agent: die drei Sorten KI ausführlicher.

Ein Beispiel aus Sabines Alltag macht den Unterschied deutlich. Im Chat müsste sie jedes Protokoll der Baustelle Lindenstraße einzeln hineinkopieren. Einem Assistenten kann sie sagen:

Lies alle Protokolle im Ordner „Baustelle Lindenstraße“ und erstelle
eine Liste aller offenen Punkte mit Verantwortlichen und Terminen.

Der Assistent öffnet die Dateien selbst, liest sie nacheinander und schreibt das Ergebnis zusammen.

Schritt 2: Das Schichtenmodell erweitern

Das Schöne daran: Für einen Assistenten müssen Sie nichts von dem verwerfen, was Sie bisher eingerichtet haben. Im Vier-Schichten-Bild ändert sich nur die oberste Schicht, die Oberfläche. Statt am einfachen Tresen bestellen Sie jetzt bei einer Servicekraft, die auch selbst ins Regal greifen kann. Koch und Rezept – also Ollama und Ihr Modell – bleiben dieselben.

Hier zahlt sich die Tür aus, die Sie in Teil 3 kennengelernt haben. Hermes Desktop klopft an localhost:11434, und Ollama antwortet – genau so, wie es Ihrem Chatfenster antwortet. Die Daten verlassen Ihren Rechner dabei weiterhin nicht.

Schritt 3: Prüfen, ob Ihr Rechner bereit ist

Ein Assistent stellt höhere Ansprüche als ein einfacher Chat. Drei Dinge sollten Sie vorher prüfen:

1. Ein größeres Kontextfenster. Ein Assistent liest viele Dateien und merkt sich seine eigenen Zwischenschritte. Dafür braucht er ein Kontextfenster von rund 64 000 Token – das Sechzehnfache der Werkseinstellung. Ist das Fenster zu klein, verliert er mitten in der Aufgabe den Faden.
2. Ein Modell mit Werkzeug-Unterstützung. Nicht jedes Modell kann Werkzeuge bedienen. Auf der Ollama-Webseite erkennen Sie geeignete Modelle an der Kennzeichnung tools. Die Familien Gemma 4 und Qwen 3.5 aus Teil 4 bringen diese Fähigkeit mit.
3. Genug Arbeitsfläche. Das große Kontextfenster belegt zusätzlich mehrere Gigabyte. Auf einem Laptop der Klasse A wird es deshalb eng. Komfortabel arbeiten Sie ab 12 GB Grafikspeicher oder mit einem Mac ab 32 GB.

Sabine probiert den Assistenten deshalb nicht auf ihrem Laptop aus, sondern auf dem Rechner in der Arbeitsvorbereitung – Klasse B mit 12 GB Grafikspeicher und dem Modell gemma4:12b.

Schritt 4: Hermes Desktop an Ollama anbinden

Die Einrichtung besteht aus vier Schritten. Die ausführliche Anleitung mit allen Details für den Mac finden Sie in Hermes Agent Desktop mit Ollama auf dem Mac einrichten. Was Hermes Desktop insgesamt kann, erklärt die Serie ab Hermes Desktop im Überblick (Teil 1).

1. Kontextfenster in Ollama vergrößern. Öffnen Sie in der Ollama-App die Einstellungen und stellen Sie den Regler für die Kontextlänge auf 64k.
2. Modell bereitstellen. Laden Sie ein Modell mit der Kennzeichnung „tools“ herunter, falls Ihr bisheriges keine hat.
3. Hermes Desktop installieren. Laden Sie den Installer für Windows oder macOS von der Seite von Nous Research herunter und installieren Sie das Programm. Unter Windows kann beim ersten Start eine Warnung erscheinen, weil das Programm noch neu ist – mit „Weitere Informationen“ und „Trotzdem ausführen“ geht es weiter.
4. Hermes mit Ollama verbinden. Wählen Sie in Hermes Desktop in den Einstellungen unter Providers den Eintrag für Ollama. Falls nach einer Adresse gefragt wird, lautet sie http://localhost:11434/v1. Wählen Sie anschließend Ihr Modell aus.

Es gibt auch eine Abkürzung, die Ihnen die Schritte 3 und 4 abnimmt. Öffnen Sie die PowerShell beziehungsweise das Terminal und geben Sie ein:

ollama launch hermes-desktop

Ollama installiert Hermes Desktop dann bei Bedarf selbst, lässt Sie ein Modell auswählen und richtet die Verbindung automatisch ein.

Achtung: Ein Assistent kann Dateien nicht nur lesen, sondern auch verändern. Geben Sie ihm anfangs nur Zugriff auf einen Testordner mit Kopien Ihrer Dokumente – nicht auf Ihre gesamte Festplatte. Erweitern Sie den Zugriff erst, wenn Sie wissen, wie er arbeitet.

Schritt 5: Weitere Wege kennen

Hermes Desktop ist nicht der einzige Weg, auf der lokalen KI aufzubauen. Zwei Möglichkeiten sollten Sie zumindest kennen:

• Hermes ohne Ollama. Hermes Desktop bringt inzwischen eine eigene Möglichkeit mit, Modelle lokal zu betreiben. Wer Ollama ausschließlich für Hermes nutzt, kann das ausprobieren. Ollama bietet dagegen den Vorteil, dass mehrere Programme dieselben Modelle mitbenutzen können.
• Lokale KI für ein ganzes Team. Soll nicht nur eine Person, sondern das ganze Büro eine lokale KI nutzen, läuft das Modell besser auf einem einzigen, gut ausgestatteten Rechner im Haus. Die Kolleginnen und Kollegen greifen dann über eine Oberfläche wie Open WebUI im Browser darauf zu. Das geht über diese Einsteigerserie hinaus und ist ein Fall für eine gezielte Planung.

Schritt 6: Ihr Wissen prüfen

Zum Abschluss der Serie drei Fragen. Tippen Sie eine Antwort an – die Auflösung erscheint sofort.

Zusammenfassung

• Ein KI-Assistent kann Werkzeuge benutzen: Dateien lesen und schreiben, sich etwas merken, Aufgaben planen. Im Vier-Schichten-Bild ersetzt er nur die oberste Schicht.
• Ollama und Ihr Modell bleiben: Der Assistent nutzt sie über die Tür localhost:11434, und Ihre Daten bleiben weiterhin im Gerät.
• Vorher stellen Sie das Kontextfenster auf 64k, wählen ein Modell mit Werkzeug-Unterstützung und geben dem Assistenten anfangs nur einen Testordner.

Damit haben Sie den ganzen Weg geschafft – von der Prüfung Ihres Rechners bis zum Assistenten, der für Sie Dateien durcharbeitet. Sabine nutzt inzwischen jeden Tag ihre lokale KI für E-Mails und Protokolle, ohne dass ein einziger Kundenname die Schreinerei verlässt. Wie Sie Ihre Aufträge an die KI noch treffsicherer formulieren, zeigt die Serie Prompting: wie Sie einer KI sagen, was Sie wollen.