Datenschutz-Geheimtipp: Diese lokale KI-App durchsucht deine Dokumente ohne Cloud

Mit Desktop-Tools wie LM Studio ist es mittlerweile extrem einfach, mit nur ein paar wenigen Klicks einen lokalen Chatbot auf dem eigenen Rechner auszuführen. Komplizierter wurde es bislang aber, wenn eure lokale KI auch gleich Fragen zu euren eigenen Dokumenten beantworten soll. Dabei ist es schon aus Datenschutzgründen empfehlenswert, genau dafür nicht auf Cloud-Dienste wie die von OpenAI oder Anthropic zurückgreifen zu müssen.
Die Open-Source-Anwendung Klee soll das Problem jetzt lösen. Das Programm ist für Windows und macOS verfügbar und bietet ein simples Interface, über das ihr eigene Dokumente oder Notizen laden und im Anschluss mithilfe einer lokalen KI befragen könnt. Das funktionierte in unserem kurzen Test durchaus überzeugend – mit den großen Cloud-Anbietern kann die Software aber nur bedingt mithalten.
So funktioniert Klee
Über drei Icons am seitlichen Rand könnt ihr zwischen Chats, Notes und Knowledge hin- und herwechseln. Während der erste Bereich all eure Chats sammelt – etwa so, wie ihr es von ChatGPT kennt –, könnt ihr unter Notes eigene Notizen ablegen. Im Knowledge-Bereich wiederum könnt ihr eigene Wissenssammlungen erstellen.
Diese Sammlungen können aus verschiedenen Dokumenten oder auch Ordnern bestehen. Einmal angelegt könnt ihr die jederzeit rechts neben dem Chatfenster aktivieren und so der KI mitteilen, dass sie ihre Informationen aus den von euch bereitgestellten Dokumenten beziehen soll.
Zuvor müsst ihr allerdings noch ein KI-Modell herunterladen. Dazu müsst ihr im rechten Menü in der Chatansicht bei Modell auf + add more klicken. Anschließend werden euch eine Reihe verfügbarer Modelle von Deepseek, Alibaba und Meta angezeigt.

Klee bietet euch eine Reihe quelloffener KI-Modelle zur Auswahl. (Screenshot: Klee / t3n)
Welches Modell für euch das Richtige ist, hängt primär von eurer Hardware-Ausstattung ab. Praktischerweise gibt Klee in der Modellübersicht direkt mit an, wie viel freien Arbeitsspeicher ihr zur Ausführung eines Modells benötigt.
Bei den verfügbaren Modellen reicht der Speicherbedarf von 8 Gigabyte bis zu 800 Gigabyte, was wohl auf den wenigsten Privatrechnern verfügbar ist.
Arbeiten mit Klee: So schlägt sich die Open-Source-Software
Für unseren kleinen Versuch haben wir mehrere Wissensdatenbanken angelegt. Davon eine nur aus PDFs, die anderen aus verschiedenen Dokumentenformaten. Anschließend haben wir eine Reihe von kleineren KI-Modellen genutzt und ihnen Fragen zu den Dokumenten gestellt.
Abhängig von eurer Hardware solltet ihr allerdings ein wenig Geduld mitbringen. Auf unserem schon etwas betagten Macbook Air mit M1-Chip benötigt die kleinste verfügbare Deepseek-Variante gut eine halbe Minute, um Fragen zu einer Reihe von PDF-Dateien zu beantworten.

Mit Klee könnt ihr lokale Dateien befragen. (Screenshot: Klee / t3n)
Auch bei der sprachlichen Qualität der Antworten werdet ihr im Vergleich zu OpenAI oder Claude Abstriche machen müssen. Nicht zuletzt weil sich kleinere Modelle meist etwas schwer mit mehrsprachigen Eingaben tun. Stellt ihr etwa eine Frage zu einem deutschsprachigen Dokument, dann kann es durchaus passieren, dass die Antwort ein Kauderwelsch aus Deutsch und Englisch ist.
Gänzlich vermeiden lässt sich das nicht – beziehungsweise nicht ohne größere Modelle zu verwenden, die dann wiederum die Hardware-Kapazitäten gängiger Heim-PCs sprengen dürften.
Wenn es euch vorwiegend darum geht, einzelne Fakten aus euren lokal gespeicherten Dokumenten zu entnehmen, ist das kein Problem. Wollt ihr aber auch sichergehen, dass die Antworten sprachlich soweit in Ordnung sind, dass ihr sie so gleich in eine Mail kopieren könnt, dann solltet ihr stattdessen auf einen der großen Cloud-Anbieter setzen.
Klee: Nicht perfekt, aber immerhin einfach und sicher
Viel einfacher als mit Klee dürftet ihr kaum in der Lage sein, eigene Dateien mithilfe einer lokalen KI zu befragen. Dass das Endergebnis nicht an die Cloud-Dienste mit ihren extremen Rechenkapazitäten heranreicht, ist in vielen Fällen verschmerzbar, wenn für euch vor allem der Schutz der eigenen Daten im Fokus steht.
Klee steht unter der freien MIT-Lizenz. Den Quellcode findet ihr auf Github. Das Programm selbst könnt ihr von der offiziellen Website für Windows und macOS herunterladen. Dort gibt es auch eine kommerzielle Variante, die durch Integration verschiedener Cloud-Modelle die Nachteile einer rein lokalen Lösung ausgleichen soll. Dafür verlangt der Hersteller allerdings 12 US-Dollar monatlich.
Dieser Artikel wurde ursprünglich am 18.03.2025 veröffentlicht, interessiert jedoch immer noch sehr viele unserer Leser:innen. Deshalb haben wir ihn aktualisiert und hier nochmals zur Verfügung gestellt.