Lokale KI: Mit diesen 6 Tools kein Problem

Trotz des Firmennamens behält OpenAI die GPT-Modelle unter Verschluss. Facebook-Mutter Meta und andere Organisationen sind in der Hinsicht deutlich offener und so gibt es mittlerweile eine ganze Reihe generativer KI-Modelle, die ihr kostenfrei auf eurer eigenen Hardware verwenden könnt.

Allerdings könnt ihr die Modelle nicht einfach herunterladen und als Chatbot starten. Dafür benötigt ihr zusätzliche Software. Die wohl bekannteste und mächtigste Software dieser Art ist die Open-Source-Lösung Ollama. 

Ollama ist für macOS, Windows, Linux und als Docker-Container verfügbar. Die Software erlaubt den direkten Download großer Sprachmodelle und kann obendrein in eine Vielzahl weiterer Software-Tools integriert werden.

Einziger Wermutstropfen: Ollama verfügt nicht über ein grafisches Nutzer:innen-Interface. In unserem Artikel zu Ollama erklären wir euch aber nicht nur, wie ihr das Tool selbst installiert, sondern auch, welche optionalen Interface-Werkzeuge euch zur Verfügung stehen.

Ollama ist für viele KI-Fans zwar erste Wahl, für Einsteiger ist die Software aber doch recht komplex. Vor allem wenn ihr wenig Erfahrung bei der Arbeit mit Kommandozeilenwerkzeugen habt. Die müsst ihr aber auch nicht haben, denn mit LM Studio gibt es ein extrem einfaches Werkzeug, mit dem ihr lokal auf eurem Rechner einen eigenen KI-Chatbot einrichten könnt.

LM Studio ist für Windows, Linux und Macs mit Apple Sillicon verfügbar. Statt über die Kommandozeile wird LM Studio über ein schickes Desktop-Interface bedient. Nach der Installation müsst ihr lediglich ein geeignetes KI-Modell herunterladen, aber auch hier greift die Software euch unter die Arme und stellt direkt geeignete Kandidaten vor.

Generell kann sich bei LM Studio niemand über die Auswahl an KI-Modellen beschweren. Denn durch die direkte Integration von Hugging Face – der größten Plattform für KI-Modelle – könnt ihr über LM Studio auf eine Vielzahl von Modellen zugreifen.

Sobald ihr ein Modell installiert habt, könnt ihr euch nach ChatGPT-Manier damit unterhalten. Außerdem könnt ihr auch eigene Dokumente hochladen und eure lokale KI dann danach befragen. Bei KI-Modellen, die auch Bilder auswerten können, erscheint im Chat-Interface dann auch ein zusätzlicher Button zum Bild-Upload.

Einfacher könnt ihr derzeit keinen lokalen Chatbot betreiben.

KI-Bildgeneratoren wie Midjourney oder Dall-E machen es einfach, auf einem Textprompt ein fertiges Bild zu erhalten. Mit Stable Diffusion gibt es aber auch ein sehr überzeugendes Open-Source-Modell zur Bilderzeugung. Wer das Modell auf einem Mac nutzen will, der sollte einen Blick auf Diffusion Bee werfen.

Diffusion Bee bietet euch alle Funktionen von Stable Diffusion unter einem einfachen Desktop-Interface. Empfohlen werden zwar Macs mit Apple Silicon, ihr könnt die Software aber mit Einschränkungen auf Macs mit Intel-Prozessor verwenden.

Diffusion Bee erzeugt auf Wunsch Bilder aus Textprompts. Ihr könnt der Bild-KI aber auch einfache Zeichnungen als Vorlage mitgeben. Ebenfalls möglich ist die Erstellung kurzer Clips oder die Bearbeitung von Bildern mithilfe der KI.

Mittlerweile bietet Diffusion Bee euch auch eine einfache Möglichkeit, das zugrundeliegende Modell anhand eigener Trainingsdaten auf eure Wünsche anzupassen. Auf die Art könnt ihr beispielsweise KI-Bilder von euch selbst erzeugen.

Wer statt macOS auf Windows setzt, der kann als Alternative zu Diffusion Bee die Software NMKD Stable Diffusion GUI einsetzen. Das Tool bietet alle grundlegenden Stable-Diffusion-Features in Form einer Desktop-Anwendung an.

Um NMKD Stable Diffusion GUI einzusetzen, benötigt ihr Windows 10 oder höher. Außerdem benötigt ihr eine Nvidia-Grafikkarte mit mindestens vier Gigabyte VRAM. Auch darf die Grafikkarte nicht älter als zehn Jahre sein, da sie mindestens einen Nvidia-Chip auf Basis der 2014 vorgestellten Maxwell-Architektur voraussetzt.

Zu eurer Sicherheit prüft NMKD Stable Diffusion GUI alle aus dem Netz geladenen KI-Modelle auf Schadsoftware.

Wenn ihr euer iPhone per Gesichtserkennung entsperrt, dann kommt maschinelles Lernen zum Einsatz. Dahinter steckt das Prinzip, Modelle auf die Erkennung von bestimmten Bildern, Texten oder Videos zu trainieren. Auch das könnt ihr mittlerweile ohne viel Aufwand am heimischen Rechner machen.

Alles, was ihr dafür benötigt, ist das Tool Liner.ai und entsprechende Trainingsdaten. Liner.ai ist für Windows, macOS und Linux verfügbar.

Nach der Installation braucht ihr nur auswählen, welche Art von Machine-Learning-Algorithmus euch vorschwebt. Sprich: Wollt ihr eine einfache Bilderkennung trainieren, die beispielsweise zwischen Katzen und Hunden unterscheiden kann? Oder soll das Modell verschiedene Gesten oder Posen erkennen?

Nach der Auswahl der entsprechenden Vorlage lädt Liner.ai automatisch passende Modelle herunter, die ihr dann anhand eurer eigenen Daten trainieren könnt. Für Einsteiger praktisch: Das Tool kann euch auch mit öffentlich verfügbaren Trainingsdaten versorgen.

Das Open-Source-Tool Dot soll die KI-gestützte Dokumentenauswertung auch für technisch weniger versierte Nutzer:innen zugänglich machen – und das komplett lokal auf dem eigenen Rechner. Die Beta-Version ist derzeit für Macs mit Apple Silicon und Windows-PCs mit Nvidia-Grafikkarte verfügbar. 

Nach der Installation lädt die Software das KI-Modell Phi-3.5-mini herunter und ermöglicht es, Dokumente in gängigen Formaten wie PDF oder DOCX zu importieren. 

In unserem Test merkten wir dem Programm den Beta-Status leider noch deutlich an. Mehrfach führten unsere Prompts zu unerwarteten Abstürzen der Software. Potenzial hat das Tool aber dennoch. Zumal die gelieferten Antworten durchaus überzeugen konnten. 

In Sachen KI seid ihr jetzt versorgt.

Aber falls ihr darüber hinaus noch an Werkzeugen interessiert seid, mit denen die Arbeit an eurem Mac komfortabler wird, dann solltet ihr einen Blick auf diese Übersicht werfen. Dort findet ihr insgesamt acht Tools, die euch beispielsweise bei der Fensterverwaltung helfen oder für mehr Ordnung in der Menüleiste sorgen.Das beste: Alle acht Tools sind kostenlos.