So geht Hype: Seit Monaten sickern immer mal wieder Andeutungen durch, nach denen OpenAI Google Konkurrenz machen will. Jetzt ist es so weit. Zunächst eine „kleine Gruppe von Nutzern“ kann den Dienst mit dem Namen SearchGPT ausprobieren, der auf Fragen konkrete Antworten statt Links liefern soll.

Wir können das zwar nicht selbst probieren, liefern hier aber schon mal zwei Gründe, warum das vermutlich auch nicht der Durchbruch sein wird.

Wir sagen normalerweise, dass Sprachmodelle halluzinieren, wenn sie Dinge erzählen, die nicht wahr sind. Aber das ist ein Feature – kein Bug. Sprachmodelle sind dazu gemacht, Lücken in Texten zu füllen. Mit Wörtern, die so aussehen, als ob sie da möglichst gut reinpassen. Anders gesagt: Das Sprachmodell erfasst im Training die statistische Wahrscheinlichkeit, dass bestimmte Wörter zusammen mit bestimmten anderen Wörtern auftreten.

Wenn im Prompt steht: „Die Katze saß“, liefert das Sprachmodell zurück, dass „auf“ das beste nächste Wort ist. Diese neue Sequenz wird in das Modell zurückgespeist, das nun „einer“ liefert. Und so weiter. Und wenn die nächsten wahrscheinlichsten Wörter in einem Text Namen sind, dann schreibt das Sprachmodell da irgendwelche Namen hin. Der SF-Schriftsteller Ted Chiang hat in dem Zusammenhang mal gesagt, ChatGPT wäre eine „verschwommene, unscharfe JPEG-Version des Internets“.

Wenn es in den Trainingsdaten zu einem Thema viele Beispiele gibt, ist die Wahrscheinlichkeit höher, dass das Modell sich an die Trainingsdaten hält. Aber eigentlich soll es das gar nicht. Es soll neue, bisher unbekannte Texte erzeugen. Eigentlich ist der gesamte Output von Sprachmodellen eine einzige Halluzination, aber wir nennen es nur dann so, wenn wir bemerken, dass etwas daran falsch ist.

Es gibt ein paar Ideen, wie man Sprachmodelle dazu bringen kann, weniger zu halluzinieren. Man kann das Problem damit aber nur verkleinern, nicht beseitigen. Selbst wenn man die Wahrscheinlichkeit von Halluzinationen auf ein Prozent drücken könnte – und im Moment sind wir eher bei 10 bis 20 Prozent – wären das bei Milliarden von Suchanfragen immer noch Zig Millionen Halluzinationen.

Die gesamte Magie der KI-Suche besteht darin, dass das Sprachmodell die Suchergebnisse einer konventionellen Internet-Suche – zum Beispiel von Google – nimmt, und in einem kurzen Text das Wesentliche dieser Dokumente kurz zusammenfasst. Das klappt aber nur, wenn die Suchergebnisse sinnvoll sind.

Die vielzitierte Panne der Search Generative Experience von Google mit dem Leim auf der Pizza war kein technischer Fehler. Die Software hat genau das gemacht, was sie sollte. Das Problem war, dass in den Suchergebnissen relativ weit oben ein ironischer Reddit-Thread auftauchte. In dem ging es um Leim auf Pizzen. Weil das Sprachmodell keinen blassen Schimmer von Ironie und Humor hat, hat es die „Informationen“ in diesem Suchergebnissen einfach genommen, und in seine Antwort eingebaut.

Jetzt könnte man natürlich sagen: Ist doch ganz einfach! Dann berücksichtigen wir in unserer Suche Reddit einfach nicht mehr. Aber die Website enthält auch viele nützliche, wertvolle Informationen. Welche Quellen soll man dem Sprachmodell also weiterreichen und welche nicht? Nur die, die man für verlässlich hält? Aufgrund welcher Kriterien? Oder nur die, für die man Lizenzen bezahlt hat? Die Frage ist nicht geklärt. Jedenfalls nicht grundsätzlich.

Weil ein Sprachmodell den Sinn eines Satzes nicht erfassen kann. Wenn die KI-Suche also prüfen soll, ob Suchergebnisse wahr (und damit brauchbar) sind, könnte sie lediglich in verifizierten Quellen (zum Beispiel der Wikipedia) nach Sätzen suchen, die wichtige Schlüsselwörter und Aussagen aus dem Suchergebnis enthalten. Dann berechnet sie – in der Vektordarstellung – das Produkt der zu prüfenden Aussage und der Fundstelle aus den verifizierten Quellen. Es geht dabei nicht um die Bedeutung einer Aussage, es geht um ein mathematisch definiertes Maß für Ähnlichkeit. Für klare Fakten und überprüfte Quellen ist das halbwegs sinnvoll. Alles andere ist qualifiziertes Raten. Zumal die Quellenlage im Internet durch immer mehr KI-generierte Inhalte nicht besser wird.

Wäre das ein Pokerspiel, bei dem ich mit am Kartentisch sitzen dürfte, würde ich laut sagen: „Ich will sehen“! Denn ich bin mir ziemlich sicher, dass weder Google, noch Meta oder OpenAI wirklich etwas auf der Hand haben. Die zwei wesentlichen Probleme der KI-Suche, Halluzination und Fact-Checking sind nicht gelöst und zumindest in der veröffentlichten Literatur zeichnet sich auch kein Durchbruch ab.

Kann natürlich immer sein, dass irgendjemand in den Entwicklungsabteilungen dieser Firmen eine geniale Idee hat. Viel wahrscheinlicher aber ist, dass auch die KI-Giganten des 21. Jahrhunderts auf das gute alte Konzept der Vapourware zurückgreifen. Schließlich hat schon Bill Gates Windows angekündigt, als er und seine Leute nicht die geringste Idee hatten, wie das funktionieren soll – geschweige denn laufenden Code. Aber das Produkt ist ja irgendwann doch auf den Markt gekommen. Hat nur acht Jahre länger gedauert, als versprochen.