Brainrot bei KI: Wie Chatbots durch sinnlose Daten verdummen und sich davon nicht mehr erholen
Der Begriff „Brainrot“ kursiert schon seit einer Weile im Internet. Im verlinkten Ratgeber zeigen wir euch detailliert, was dahintersteckt und ob ihr womöglich schon selbst davon betroffen seid. Kurz gesagt handelt es sich um die übermäßige Nutzung des Internets und einem daraus folgenden geistigen Verfall. Wer Brainrot hat, verwendet gern Internetbegriffe im Alltag, die ohne Kontext kaum Sinn ergeben oder verliert sich stundenlang in sinnfreien Posts auf diversen Social-Media-Plattformen.
KI und Brainrot: Wenn Chatbots plötzlich dümmer werden
Forscher:innen haben jetzt ein Paper veröffentlicht, das nicht die Auswirkungen von Brainrot auf den Menschen in den Vordergrund stellt. Sie wollten herausfinden, wie sich Künstliche Intelligenz verändert, wenn sie mit sinnlosen Inhalten aus den Weiten des Internets trainiert wird. Und tatsächlich kann Brainrot auch auf KI-Chatbots gravierende Auswirkungen haben.
Für den Test haben die Forscher:innen zunächst vier Datensets mit Brainrot erstellt, die aus Social-Media-Posts bestanden. Diese unterschieden sich in der „Junk-Ratio“ – also darin, wie viele Inhalte aus dem Datenset Brainrot-Inhalte waren. Neben der Kontrollgruppe, die gar kein Brainrot beinhaltete, gab es so Datensets mit 20, 50, 80 und 100 Prozent „Junk“. Als Modell für den Test wurde Llama 3 8B herangezogen, mit den Datensets zusätzlich trainiert und mehreren Reasoning- und Long-Context-Tests unterzogen.
Während die Kontrollgruppen-KI im Reasoning-Test einen Score von 74,9 erzielte, sank die Wertung mit steigender Brainrot-Stärke immer weiter. Das Modell, das mit 100 Prozent sinnbefreiten Inhalten trainiert wurde, erreichte lediglich einen Wert von 57,2. Und auch bei Long-Context-Tests sank der erreichte Wert stark – von 90,5 auf lediglich 71 Punkte.
Zu den spürbaren Auswirkungen schreiben die Forscher:innen: „Als eine Schädigung haben wir das Überspringen von Gedanken festgestellt. Modelle kürzen oder überspringen ihre Gedankengänge immer häufiger, was den Zuwachs von Fehlern erklärt.“ Die Fehler umfassten dabei entweder Lücken im Plan der KI, um eine Aufgabe zu lösen oder einen faktischen Fehler über ein Thema, der zum Scheitern führte.
Zudem haben die Forscher:innen festgestellt, dass Modelle, die einmal von Brainrot befallen sind, nicht so einfach wieder „geheilt“ werden können. Zwar gab es leichte Besserungen, als das 100-Prozent-Modell im Anschluss mit brainrotfreien Daten trainiert wurde, doch konnte der Baseline-Wert der Kontrollgruppe in keinem Test erreicht werden.
Laut den Forscher:innen sollten ihre Ergebnisse ein Reevaluieren der im Netz verfügbaren Datensets nach sich ziehen, die häufig zum Training von KI genutzt werden: „Da LLMs immer weiter skaliert werden und dadurch immer größere Teile des Webs aufnehmen, ist eine aufmerksame Kuratierung und Qualitätskontrolle essenziell, um kumulative Schäden zu verhindern“.