KI und Nischenwissen: Da hilft auch der beste Prompt nicht
Wer die Euphorie rund um generative KI und insbesondere GPT‑4 oder Google Bard in diesem Jahr verfolgt hat, hat schnell den Eindruck gewonnen, dass der KI-Erfolg eigentlich nur einen Prompt entfernt sei.
In Wahrheit aber sind wir von der Realität solcher Heilsversprechen, die wahlweise von selbst ernannten KI-Expert:innen oder Prompt-Engineers stammen, noch ziemlich weit entfernt. Dabei belegt der Gedanke, dass mit dem nächsten Prompt oder dem nächsten GPT-Update alles gut oder zumindest besser wird, dass die Träger:innen dieses Gedankens meist nur wenig Ahnung von der Funktionsweise dieser Technologien haben. Die Erfahrung zeigt leider noch viel zu oft, dass das Verfeinern der Prompts die Enttäuschung nur vergrößert.
Wer sich schon einmal in den Sog von Dall‑E oder Firefly bei der Generierung des einen genau passenden Bildmotivs hat ziehen lassen, kennt die Effekte, wenn es um die vermeintliche Perfektionierung von KI-generierten Inhalten geht. Diesem einen genau passenden Bildmotiv gehen in der Regel stundenlange erfolglose Versuche voraus, die ein ums andere Mal ernüchternde bis unverständliche Bildmotive hervorgebracht haben.
Na klar, das macht das Ergebnis dieses stundenlangen Herumprobierens und der ofmals untauglichen Versuche, der Logik der KI auf die Schliche zu kommen, umso wertvoller. Das darf aber nicht den Aufwand überdecken, der zuvor investiert worden ist. Wirklich effektiv oder effizient ist das in vielen Fällen leider bislang nicht. Da hilft auch der Hinweis auf Lernkurven, die es beim Erlernen neuer Technologien zu absolvieren gilt, nicht.
KI: Alles steht und fällt mit den Daten
Das Problem liegt vielmehr in der Technologie selbst, genauer: in der Datenbasis. Und mit jeder neuen Version von GPT und Co., in die aktuelles „Wissen“ einfließt, wird dieses Problem im Zweifel größer. Selbst die Tatsache, dass wir als User:innen die KI weiter per Reinforcement-Learning durch unsere Feedbacks trainieren, ändert nur wenig an diesem Umstand.
Jedes KI-Training basiert auf Daten und Informationen. Je mehr falsche Angaben im Netz kursieren, je schneller der Zugriff auf diese Daten erfolgt, umso größer ist die Wahrscheinlichkeit, dass die Ergebnisse fehlerhaft ausfallen werden. Es ist verrückt, aber leider wahr: Je schneller und aktueller die KI wird, desto fehleranfälliger wird sie auch. Das ist aber nur die Gesamtbetrachtung.
Richtig schwierig wird es in den Wissensnischen. Wenn weniger Daten vorliegen oder vermeintliches Spezialwissen mit Fehlinformationen – bewusst oder unbewusst – durchsetzt ist, desto wahrscheinlicher münden die durch die Wahrscheinlichkeiten von GPT generierten Wortfolgen in Falschannahmen. Selbst Schreibfehler werden dabei übernommen – sie müssen einfach nur in ausreichendem Umfang in den berücksichtigten Daten vorhanden sein.
KI und das Problem mit Nischenwissen
Die Faustregel lautet: Je tiefer sich vermeintliches Wissen, Informationen und Daten in einer Nische befinden, desto fehleranfälliger und mangelhafter sind die generierten Ergebnisse. Breit gestreutes und im Netz vielfach dokumentiertes Wissen wird meist korrekter wiedergegeben. GPT weiß mittlerweile, dass der deutsche Bundeskanzler Olaf Scholz heißt, ob das allerdings auch für die Staatsoberhäupter geschweige denn Minister in Gabun, Niger oder Mali gilt, die politisch deutlich instabiler sind, ist mehr als fraglich.
Probiert es doch einfach selbst mal aus. Geht in eure ganz persönliche Wissensnische und fordert ChatGPT heraus. Ich bin mir sicher, dass solche Tests die Skepsis gegenüber den populären KI-Tools eher fördern als abbauen. Bleibt das Wissen undokumentiert, löst auch GPT‑10 das eigentliche Problem nicht. Und solange das so ist, gilt eigentlich in Analogie zu einem oft bemühten Bonmot: Traue keinem GPT, das du nicht selbst mit Daten gefüttert hast.
Ich selbst bin alles andere als ein KI-Skeptiker. Dazu befasse ich mich schon viel zu lange damit. Aber: Bei aller Euphorie, die derzeit die kritischen Stimmen ganz gern mal übertönt, sollten wir uns immer die Zeit nehmen, neue Technologien und Anwendungen nicht nur hinsichtlich der Chancen, sondern eben auch hinsichtlich der Risiken zu bewerten, bevor sie flächendeckend mit all der leider damit verbundenen Intransparenz zum Einsatz kommen. Ich fürchte, dass wir sonst in einem Strudel aus Halbwissen, Fehlinformationen und bewusst gestreuten falschen Behauptungen untergehen.