Ändert sich eine Zahl in einem großen KI-Modell, kann es komplett aus den Fugen geraten. (Bild: Wangbar/Shutterstock)
Erst vor wenigen Monaten hat Meta sein neues KI-Modell Llama 3.1 veröffentlicht. Da die künstliche Intelligenz als Open-Source verfügbar ist, können Forscher:innen daran problemlos Experimente durchführen. So haben es auch eine Gruppe von Forscher:innen rund um Colorado Reed gemacht, der als Applied Research Scientist bei Apple arbeitet.
Ziel des Experiments war es, herauszufinden, wie leicht sich KI-Modelle aus der Bahn werfen lassen können. Wie New Scientist berichtet, ist das selbst bei Modellen mit Milliarden Parametern recht einfach. Oftmals reichte es den Forscher:innen aus, eine Zahl innerhalb des KI-Modells zu verändern.
Warum ein Parameter in einem KI-Modell so wichtig ist
Um das herauszufinden, haben die Forscher:innen das Modell Llama-7B genutzt. Wie der Name verrät, hat die KI sieben Milliarden Parameter. Diese Zahlenwerte sind dafür zuständig, den Text zu generieren, den wir über einen Prompt anfordern. Im Grunde stellen die einzelnen Parameter Wahrscheinlichkeiten für bestimmte Textbausteine dar, die die KI dann aneinanderreihen kann.
Die Forscher:innen haben diese Zahlenwerte verändert, um herauszufinden, wie sehr sich der Output verändert. Dabei haben sie festgestellt, dass viele Parameter entfallen können, ohne eine gravierende Auswirkung auf den Output zu haben. Dem entgegen stehen aber sogenannte Superparameter, die besonders wichtig sind. Wird einer dieser Parameter verändert, generiert das KI-Modell nur noch Halluzinationen oder sogar komplette Kauderwelsch.
Im Test veränderten die Forscher:innen rund 7.000 Parameter ohne Auswirkungen auf den KI-Output. Nur der Superparameter sorgte dafür, dass Llama-7B nicht mehr funktionierte. Das liegt laut Yingzhen Li vom Imperial College in London daran, dass diese Parameter meist am Anfang des KI-Modells stehen. Sind sie fehlerhaft, setzt sich der Fehler durch alle weiteren Parameter durch.
Auch Thomas Wolf, der Mitgründer von Hugging Face, bestätigt die Ergebnisse des Teams. Demnach gab es schon 2017 ein großes Sprachmodell von OpenAI, das mit 82 Millionen Amazon-Bewertungen trainiert wurde. Die KI sollte nach dem Training imstande sein, negative und positive Bewertungen zu unterscheiden. Laut Wolf hing diese Entscheidung allerdings nur von einem Parameter im KI-Modell ab.
Künftig könnte sich diese Erkenntnis für die Weiterentwicklung von künstlichen Intelligenzen rentieren. Denn KI-Forscher:innen müssen Wege finden, wie Modelle auch ohne diese besonders wichtigen Parameter auskommen und etwa andere Wege zu einer richtigen Antwort finden können.
