Anthropic: In einem laufenden Verfahren halluziniert Claude ein falsches Zitat
In einem Verfahren vor einem US-Gericht muss sich Anthropic derzeit gegen den Vorwurf verteidigen, urheberrechtlich geschützte Musikinhalte unerlaubt zum Training seiner KI Claude verwendet zu haben. Jetzt ist dem Unternehmen eine besonders unangenehme Panne unterlaufen: Wie The Verge berichtet, reichte Anthropic ein falsches Zitat ein, das ausgerechnet von Claude selbst generiert wurde.
Anthropic entschuldigte sich für den Fehler
Im laufenden Rechtsstreit mit der Universal Music Group, Concord und ABKCO hatte Olivia Chen, die als Datenwissenschaftlerin bei Anthropic arbeitet, am 30. April offenbar ein falsches Zitat als Teil der Verteidigung eingereicht. Ein Anwalt der Gegenseite, der die Musikverlage vertritt, sagte bei einer Anhörung, Chens Dokument habe sich auf eine Quelle bezogen, die „vollständig erfunden“ gewesen sei – und deutete an, dass der Fehler auf Halluzinationen von Anthropics eigenem KI-Tool zurückgeführt werden könne.
Anthropic wies den Vorwurf zurück und erklärte, dass die Quelle tatsächlich existiere, Claude aber ein Fehler bei der Formatierung des Zitats unterlaufen sei. Dabei sei der Wortlaut verändert worden, was bei einer manuellen Überprüfung des Zitats nicht aufgefallen wäre. „Obwohl der korrekte Publikationstitel, das Erscheinungsjahr und der Link zur angegebenen Quelle angegeben wurden, enthielt das eingereichte Zitat leider einen falschen Titel und falsche Autoren“, sagte Ivana Dukanovic, die Anwältin von Anthropic.
Sollte KI im juristischen Kontext genutzt werden dürfen?
Der Vorfall reiht sich ein in eine wachsende Zahl von Beispielen, in denen generative KI in juristischen Kontexten für Verwirrung sorgt – etwa durch falsche Urteile, erfundene Quellen oder fehlerhafte Argumentationen. Eine Studie der Stanford University zeigt, dass gängige KI-Modelle wie ChatGPT bei juristischen Anfragen in 58 bis 82 Prozent der Fälle halluzinieren. Und selbst spezialisierte juristische KI-Tools weisen je nach Modell noch Fehlerquoten von bis zu 34 Prozent auf.
Gleichzeitig planen laut Umfragen fast drei Viertel der Anwält:innen in den USA, generative KI in ihrer Arbeit einzusetzen. Denn in der Theorie können KI-Tools zum Beispiel bei der Recherche, Vertragserstellung oder Analyse umfangreicher juristischer Dokumente eine enorme Erleichterung bieten. Die Diskrepanz zwischen technologischem Potenzial und tatsächlicher Verlässlichkeit offenbart allerdings die Risiken, die der Einsatz von KI im Rechtswesen mit sich bringt.
Für Anthropic ist der Vorfall mehr als nur peinlich
Ob das Gericht die Erklärung für die Entstehung des Fehlers akzeptiert, ist derzeit noch offen. Dass aber ausgerechnet ein KI-Unternehmen wie Anthropic so unkritisch in die eigene Technologie vertraut, wirft grundsätzliche Fragen auf: Wie verlässlich sind KI-Systeme, wenn es um Fakten, Haftbarkeit und Genauigkeit geht? Und reicht eine menschliche Kontrollinstanz aus, um KI-Werkzeuge im juristischen Kontext sicher einzusetzen?
Für Anthropic ist der Vorfall im laufenden Prozess mehr als eine unangenehme Panne, denn nicht nur die Glaubwürdigkeit des KI-Modells steht auf dem Spiel – sondern die des gesamten Unternehmens. Dass Claude ausgerechnet im eigenen Prozess zur Belastung wird, dürfte das Vertrauen in die Technologie nicht gerade stärken.
