Support-Fail: Warum Nutzer diesem KI-Chatbot nicht mehr trauen
Es ist nicht das erste Mal, dass ein KI-Tool des Hype-Startups Anysphere für Verwunderung in der Branche sorgt. Erst vor wenigen Wochen hatte die Coding-KI Cursor eine Aufforderung verweigert und dem Nutzer erklärt, er solle den gewünschten Code doch selbst zu Ende schreiben.
Peinliches Chatbot-Desaster für KI-Startup
Während Anysphere diesen Vorfall mit einem falsch verwendeten Shortcut erklären konnte, ist der aktuelle Aufreger deutlich peinlicher. Schließlich generiert das KI-Startup – vor allem mit Cursor – pro Jahr 100 Millionen Dollar Umsatz und soll in einer laufenden Finanzierungsrunde mit zehn Milliarden Dollar bewertet worden sein.
Da kommen die Nachrichten über einen außer Kontrolle geratene Support-Chatbot natürlich alles andere als recht. Denn die viral gegangene Geschichte wirkt eher wie ein warnendes Beispiel für andere Unternehmen, eben nicht voll auf Automatisierung zu setzen, wie Fortune schreibt.
Cursor-Fehler sorgt für Support-Anfrage
Was war passiert? Ein Cursor-Nutzer berichtete Mitte April 2025 via Hacker News und Reddit über einen mysteriösen Fehler, wegen dem er bei Wechsel der Geräte aus der Anwendung geschmissen werde. Seine Anfrage an den Support brachte ihm eine seltsam erscheinende Antwort.
Ein „Sam“ schrieb ihm darin, dass das Ausloggen ein „zu erwartendes Verhalten“ sei, da es ja schließlich eine neue Login-Richtlinie gebe. Das Problem: Eine solche angeblich neue Login-Richtlinie – nur ein Gerät pro Account – gibt es gar nicht.
KI-Chatbot halluziniert falsche Antwort
Hinter der falschen Antwort steckte ein KI-Chatbot, der sich dies herbeihalluziniert haben dürfte. Die angebliche Begründung war also vollkommen ausgedacht.
Das Ganze schlug hohe Wellen in der IT-Community und soll dafür gesorgt haben, dass zahlreiche Nutzer:innen ihre Cursor-Abos kündigten. Beklagt wurde zudem die fehlende Transparenz. Denn der Hinweis, dass es sich bei „Sam“ um einen KI-Chatbot handelte, fehlte.
Startup-Mitgründer reagiert mit Entschuldigung
Die Aufregung brachte letztlich Anysphere-Mitgründer Michael Truell dazu, sich persönlich für „das Durcheinander“ zu entschuldigen. Der Fehler, aufgrund dessen Nutzer:innen ausgeloggt würden, werde untersucht.
Die Entschuldigung dürfte aber etwas zu spät gekommen – und die Erklärung für den halluzinierenden Chatbot zu kurz ausgefallen sein. Zumindest dafür, dass Anysphere mit KI-Tools sein Geld verdient.
Was Startups aus dem KI-Chaos lernen können
Für Cassie Kozyrkov, eine KI-Beraterin, die früher bei Google gearbeitet hat, zeigt das Desaster drei Dinge, die KI-Startups künftig beachten sollten. Zum ersten hätte das Chaos vermieden werden können, wenn die Führungskräfte besser verstanden hätten, dass KI nun einmal Fehler macht.
Zudem sei es wichtig zu verstehen, dass eine KI keine Verantwortung für Fehler übernimmt – dies liege wiederum bei den Führungskräfte beziehungsweise der gesamten Firma. Und: „Nutzer:innen hassen es, von einer Maschine hereingelegt zu werden, die sich als Mensch ausgibt“, so Kozyrkov via Linkedin.
