Sind Chatbots wie ChatGPT eine Gefahr für Intelligenz und Bildung der kommenden Generationen, oder könnten die praktischen Tools das Lernen vielleicht sogar unterstützen und verbessern? Eine aktuelle Studie legt nahe, dass es sich bei letzterer These leider eher um Wunschdenken handeln könnte.

In einem Mitte Juli veröffentlichten Paper der University of Pennsylvania, das noch keinem Peer-Review unterzogen wurde, zeigen die beteiligten Wissenschaftler:innen, dass Schüler:innen, die zuvor Matheaufgaben mit ChatGPT geübt hatten, im Test um 17 Prozent schlechter abschnitten, als diejenigen, die selbständig geübt hatten.

Bei den Übungsaufgaben war die ChatGPT-Fraktion noch deutlich häufiger richtiggelegen als die Jugendlichen, die zuvor gelerntes ohne KI-Tool einstudieren mussten.

Die Studie war mit knapp 1000 türkischen Schüler:innen in den Jahrgangsstufen neun bis elf im Herbst 2023 durchgeführt worden. Dabei wurde den Jugendlichen in vier Durchgängen von Lehrer:innen jeweils ein anderes mathematisches Thema nähergebracht. Anschließend gab es eine 90-minütige Übungsphase, in der die Schüler:innen zufällig drei verschiedenen Gruppen zugeordnet wurden.

Die erste Gruppe musste das gerade erlernte auf sich allein gestellt einüben, die zweite Gruppe durfte ChatGPT nutzen, die dritte nutzte eine ChatGPT-Version, die speziell als Tutoren-Bot programmiert worden war. Das heißt, die KI gab lediglich Hinweise, wie das Problem zu lösen sei, statt einfach die richtige Antwort vorzugeben.

Anschließend mussten die Schüler:innen ihr Können in einem Test ohne Hilfsmittel unter Beweis stellen. Das Ergebnis: Während ChatGPT-Nutzer:innen in der Übungseinheit 48 Prozent der Aufgaben richtig lösen konnten, waren sie im anschließenden Test nicht in der Lage, diese Quote aufrechtzuerhalten. Sie gaben zu 17 Prozent öfter die falsche Antwort, als ihre Mitschüler:innen, die ohne KI geübt hatten.

Die Schüler:innen, die die Tutorenfunktion genutzt hatten, schafften es in der Übung sogar zu 127 Prozent öfter, die Fragen korrekt zu beantworten, als ihre Kolleg:innen ohne Hilfsmittel. Im Test schnitten sie dann allerdings exakt gleich ab. Die Studie zeigt aber auch, dass sie ihr Können dabei maßlos überschätzt und ein viel besseres Ergebnis erwartet hatten.

Die Autor:innen der Studie sehen das Problem hauptsächlich darin, dass die Schüler:innen ChatGPT meist nicht zum Lernen, sondern als Abkürzung nutzen. Eine Untersuchung der gestellten Fragen ergab, dass die Jugendlichen sich in der Regel nur für das Ergebnis interessierten, nicht aber für den Lösungsweg. Dies verhindert, dass Probleme ausreichend erfasst und verstanden werden können.

Problematisch ist außerdem, dass ChatGPT selbst erstaunlich schlecht in Mathe zu sein scheint. Nur bei der Hälfte der Aufgaben lieferte das Programm überhaupt die richtige Lösung. Wurde ein Schritt-für-Schritt-Lösungsweg gesucht, war dieser in 42 Prozent der Fälle falsch. Selbst bei Grundrechenarten scheiterte das Tool zu 8 Prozent. Der Tutoren-KI wurden die richtigen Lösungen vorab gefüttert, was das bessere Abschneiden der Schüler:innen bei den Übungen erklärt.

Natürlich handelt es sich bei der Studie lediglich um eine erste Untersuchung und höchstwahrscheinlich können sinnvoll eingesetzte KI-Tools beim Aneignen von Wissen von Vorteil sein. Trotzdem dürfte das Ergebnis als Warnung für das dienen, was die meisten Pädagog:innen und Eltern wahrscheinlich ohnehin bereits befürchten: ChatGPT ist im Schulkontext wohl eher kontraproduktiv.