Chatbots übertreiben gern bei Zusammenfassungen – und werden noch ungenauer, wenn ihr es ihnen sagt
Wenn KI wissenschaftliche Texte zusammenfassen soll, übertreiben die Chatbots gern. (Grafik: Midjourney/t3n)
Gerade für wissenschaftliche Studien sind KI-Tools verlockend. Schließlich können uns Chatbots innerhalb von wenigen Sekunden lange Texte analysieren und die wichtigsten Erkenntnisse in Stichpunkten zusammenfassen. Das kann aber auch schiefgehen, wie eine Studie (via Royal Society Publishing) jetzt zeigt. Demnach sind die Chatbots oftmals zu ungenau und übertreiben gern.
Wie Chatbots bei Zusammenfassungen übertreiben
Um das herauszufinden, haben die Wissenschaftler:innen zehn der führenden KI-Programme herangezogen. Dazu zählen etwa ChatGPT, Deepseek, Claude und Llama. Die KI-Chatbots sollten insgesamt 200 wissenschaftliche Texte zusammenfassen. 100 dieser Texte stammten dabei aus Wissenschaftspublikationen im medizinischen Bereichn, während 100 weitere unterschiedliche Themengebiete umfassten.
Am Ende des Prozesses hatten die Wissenschaftler:innen 4.900 Zusammenfassungen von den Chatbots generieren lassen, die sie mit den originalen Studien vergleichen konnten. Zunächst zeigte sich, dass insgesamt sechs der zehn KI-Modelle Behauptungen der Studien aufbauschten, indem die Aussagen verallgemeinert wurden. So wurde etwa in einer Studie geschrieben, dass „die Behandlung im Rahmen der Studie effektiv war“. Die Chatbots machten daraus: „Die Behandlung ist effektiv“.
In ihrer Studie schreiben die Wissenschaftler:innen dazu: „Solche Umwandlungen in generische Verallgemeinerungen können Ärzte dazu verleiten, unsichere Eingriffe vorzunehmen“. Beim Test schnitten Deepseek mit Übertreibungen und Verallgemeinerungen in 67 Prozent der Fälle und Llama 3.3 mit 73 Prozent am schlechtesten ab. ChatGPT-4o übertrieb in 61 Prozent der Fälle. Nur Claude 3.5 Sonnet erreichte einen niedrigen Wert von acht Prozent – und wird deshalb auch von den Verantwortlichen für wissenschaftliche Zusammenfassungen empfohlen.
Zudem stellten die Verantwortlichen fest, dass KI-Chatbots nicht präziser werden, wenn man ihnen entsprechende Anweisungen gibt. Die Modelle haben doppelt so häufig übertrieben, wenn sie dazu angehalten wurden, genauer zu sein. Stattdessen empfiehlt die Studie, Zusammenfassung von Chatbots in der indirekten Vergangenheitsform zu verlangen. Dadurch sollen Verallgemeinerungen reduziert werden.
