KI-Chatbots werden menschlicher: Wie Unsicherheit zu besseren Entscheidungen führen kann
Wie sehr vertrauen Menschen einer unsicheren KI? (Bild: maxuser / Shutterstock)
KI-Chatbots sind dafür bekannt, manchmal falsche Tatsachen auszugeben, was als „Halluzinieren“ bezeichnet wird. Sie tun das in einem sicheren Ton, da sie selbst nicht wissen, ob ihre Aussagen korrekt sind oder nicht.
Ein Forscherteam um Jenn Wortmann Vaughan von Microsoft hat deshalb ein Experiment durchgeführt, um zu untersuchen, was passiert, wenn die KI Unsicherheit ausdrückt. Beispielsweise mit Phrasen wie: „Ich bin nicht sicher, aber …“
Sie fanden heraus, dass das die Nutzung der KI durch Menschen beeinflusst, was dazu führt, dass die Menschen kritischer werden.
So war das Experiment aufgebaut
Insgesamt nahmen 404 Freiwillige an dem Experiment teil. Sie wurden gebeten, einige medizinische Fragen zu beantworten. Dafür konnten sie Microsofts KI, den Copilot, Bücher, menschliche Experten und das Internet nutzen, wie New Scientist schreibt.
Eine Gruppe erhielt die Standard-KI, während die andere eine KI bekam, die Unsicherheit ausdrückt. In der Gruppe mit der normalen KI hatten 81 Prozent der Teilnehmer Vertrauen in die Korrektheit der Antworten. In der Gruppe mit der unsicheren KI fiel diese Zahl auf nur 75 Prozent.
Zusätzlich stellte sich heraus, dass die Gruppe mit der normalen KI die Fragen zu 64 Prozent korrekt beantwortete. In der Gruppe mit der unsicheren KI waren 73 Prozent der Antworten korrekt. Das deutet darauf hin, dass diese Teilnehmer eher dazu neigten, auch in anderen Quellen nach den passenden Informationen zu suchen.
Die KI weiß nicht, ob sie richtig liegt oder nicht
Eine Idee der Forscher ist, dass die KI angibt, wenn sie sich bei Fakten unsicher ist oder unsichere Antworten gar nicht erst anzeigt. Das Problem dabei ist jedoch, dass die KI derzeit nicht bestimmen kann, ob eine Antwort faktisch korrekt ist oder nicht. Zudem könnte das dazu führen, dass Menschen ein zu großes Vertrauen in Antworten entwickeln, die nicht als unsicher gekennzeichnet wurden.
Andrew Rogoyski von der University of Surrey, Großbritannien, empfiehlt daher: „Ich persönlich würde heute mehr denn je empfehlen, dass alle Menschen lernen, jede Tatsache, die ihnen präsentiert wird, infrage zu stellen, sei es aus einem LLM, sozialen Medien, einer Zeitung oder einem Gespräch in der Kneipe.“
Die Ergebnisse des Experiments wurden auf dem Preprint-Server Arxiv veröffentlicht.
