Lügt Claude seltener als du? Anthropic-CEO behauptet, KI sei zuverlässiger als Menschen
Dario Amodei, Chef des KI-Unternehmens Anthropic aus San Francisco im US-Bundesstaat Kalifornien, behauptet, dass moderne KI-Modelle seltener halluzinieren als Menschen. Diese Aussage traf er unter anderem auf dem hauseigenen Entwickler-Event „Code with Claude“.
„Es kommt wirklich darauf an, wie man es misst, aber ich vermute, dass KI-Modelle wahrscheinlich weniger halluzinieren als Menschen, aber sie halluzinieren auf überraschendere Weise“, erklärte Amodei, wie Techcrunch berichtet. Auf der Vivatech-Konferenz im französischen Paris präzisierte er später, dass sich seine Behauptung primär auf faktenbasierte Aufgaben in kontrollierten Tests beziehe.
AGI in Reichweite, trotz Fehlern?
Für Amodei sind diese gelegentlichen Fehler kein Hindernis auf dem Weg zur Künstlichen Allgemeinen Intelligenz (AGI), die er bereits 2026 für möglich hält. Er vergleicht die Fehler der KI mit menschlichem Versagen, wie es auch bei Journalist:innen oder Politiker:innen vorkomme.
Diese optimistische Sichtweise steht im klaren Gegensatz zu anderen führenden Köpfen der Branche. Demis Hassabis, Chef von Googles KI-Firma Deepmind, äußerte sich kürzlich weitaus vorsichtiger. Er ist der Meinung, dass die aktuellen Modelle noch zu viele „Löcher“ hätten und ein grundlegendes Hindernis darstellten.
Die Gegenseite: Googles Zweifel und die Grenzen der Messbarkeit
Die Debatte wird durch die Schwierigkeit befeuert, Halluzinationen überhaupt verlässlich zu messen. Bisherige Benchmarks vergleichen meist nur verschiedene KI-Modelle untereinander, nicht aber die KI mit dem Menschen. Ein standardisierter Vergleich fehlt bislang.
Gleichzeitig ist die Datenlage zur Fehleranfälligkeit von KI-Modellen widersprüchlich. Während Studien von Anbietern wie Vectara zeigen, dass die Halluzinationsraten bei neueren Modellen wie GPT-4 auf bis zu drei Prozent gesunken sind, wie Visual Capitalist darstellt, warnen Forscher:innen an anderer Stelle. So sollen Modelle, die auf komplexes logisches Schließen trainiert sind, teilweise sogar wieder höhere Fehlerraten aufweisen.
Ein bekanntes Beispiel aus der Praxis unterstreicht die Bedenken: Ein Anwalt musste sich vor Gericht entschuldigen, nachdem er den Anthropic-Chatbot Claude für eine Klageschrift nutzte und dieser dabei Namen und Aktenzeichen frei erfand.
Amodei räumt ein, dass das größte Problem nicht der Fehler an sich sei, sondern das enorme Selbstbewusstsein, mit dem die KI falsche Informationen als Tatsachen präsentiert. Dies sei eine Herausforderung, die es zu lösen gelte. Ob eine KI, die halluziniert, überhaupt die Definition von AGI erfüllen kann, bleibt eine der spannendsten Fragen in der aktuellen KI-Debatte.
Das Problem ist nicht, dass es besser als bei Menschen ist, sondern dass man „KI“ Modelle geschaffen hat, die schlecht darin sind, worin Computer eigentlich gut sind: Korrekte Informationen bereitstellen. Aktuelle LLMs „raten“ nur die Antwort.