Seit dem Erscheinen des ersten Bandes im Jahr 1997 ist Harry Potter zu einem allgemeinen, weltweit verbreiteten Phänomen geworden. Selbst Menschen, die keinen der sieben Romane gelesen oder deren Verfilmungen gesehen haben, können mit Begriffen wie Hogwarts oder Muggel etwas anfangen. Figuren wie Dumbledore, Hermine oder Lord Voldemort sind (pop-)kulturelles Gemeingut.

Nicht nur diese markanten Begriffe und global bekannten Figuren machen die Fantasyreihe um den Zauberschüler zu einer unschätzbaren Quelle und zu einem präzisen Prüfstein für Künstliche Intelligenz. So lässt sich etwa mithilfe der Potter-Saga aus der Feder von J.K. Rowling beweisen, dass Large Language Models (LLM) wie ChatGPT auf urheberrechtlich geschützte Quellen zurückgreifen.

Für eine im Mai 2023 veröffentlichten Studie der University of California Berkeley haben Wissenschaftler:innen Lückentexte erstellt, die ChatGPT und GPT-4 schließen sollten. Dies konnten die LLM nur, wenn sie exakte Kenntnisse literarischer Werke wie eben dem Harry Potter-Universum besitzen. In den Abschnitten ließen die Wissenschaftler:innen Eigennamen wie Voldemort weg, die nur in diesen Werken auftauchen. Die KI konnte also nicht via Wahrscheinlichkeitsrechnung aus dem Textumfeld schließen, was fehlt.

Die Ergebnisse der Studie sprachen für sich. Während bei Büchern wie Alice im Wunderland, dessen Urheberrecht abgelaufen ist, die KI zu 98 Prozent richtig lag, waren es beim Copyright-geschützten Harry Potter und der Stein der Weisen waren es immerhin noch 76 Prozent. Doch einen ganz sicheren Beweis, dass ChatGPT geschützte Werke abgreift, lieferte die Studie nicht. Schließlich ist Harry Potter so bekannt, dass Zitate daraus frei zugänglich im Netz kursieren. Einen starken Hinweis auf Urheberrechtsverletzungen lieferten die Forschenden damit aber.

Eine Lösung für dieses Dilemma könnte nun ausgerechnet Tools bieten, die ebenfalls mit Harry Potter operieren. Bloomberg berichtet von mehreren Studien zu dem Themenkomplex des gezielten Vergessens von spezifischen Inhalten.

„Wer ist Harry Potter? Annäherndes Verlernen in LLMs“ nennt sich eine Studie programmatisch. Mark Russinovich und Ronen Eldan von Microsoft haben dafür Llama 2-7b verwendet. Meta hat dieses Model kürzlich als Open-Source bereitgestellt. Die Microsoft-Forscher haben Zitate aus den Harry Potter-Bücher daraus entfernt.

Im ersten Schritt trainierten sie ein Model darauf, Token zu identifizieren, die spezifisch für die Potter-Welt sind. Dazu verglichen sie idiosynkratische Ausdrücke aus der Romanreihe mit gewöhnlichen Begriffen eines Basismodells. Im zweiten Schritt ersetzten sie diese Spezialausdrücke durch generische Äquivalente. Damit trainierten sie wiederum ihr Modell. So überschrieben sie quasi die logarithmischen Wahrscheinlichkeitswerte, die auf Potter-Zitate hinwiesen, mit allgemein gültigen Begriffen.

Harry Potter wählten Mark Russinovich und Ronen Eldan gezielt aus, damit andere Forschende ihre mittels Llama 2 erzielten Ergebnisse gut überprüfen können. „Fast jeder kann dem Modell Fragen stellen, um herauszufinden, ob es die Bücher ‚kennt‘ oder nicht“, zititiert Bloomberg die Forscher. „Selbst Menschen, die die Bücher nicht gelesen haben, würden Handlungselemente und Charaktere erkennen.“

Eine gemeinsame Studie der University of Washington in Seattle, University of California Berkeley und dem Allen Institute for AI nutze ebenfalls Harry Potter als Prüfstein. Die Wissenschaftler:innen erschufen dafür ein Sprachmodell namens Silo, das gezielt urheberrechtlich heikle Daten entfernen soll. Um Silo zu testen, verwendeten sie dafür gemeinfreie Bücher und behördliche Dokumente. Mit diesen wenig konkreten Daten blieb die Performance ihres Modells aber vage.

Also zogen die Forschenden Harry Potter als Härtetest heran. Und schon stieg die Präzision von Silo. Entfernten sie die Potter-Zitate wieder, sank die Leistung prompt.