Von GPT-4 bis Palm 2: Wie (in)transparent sind die großen KI-Modelle?
KI-Modelle wie GPT-4 oder auch Stable Diffusion haben einen immer größeren Einfluss auf Wirtschaft und Gesellschaft. Trotz steigender Popularität bleiben viele Details über Entwicklung und Nutzung dieser Modelle aber nach wie vor im Dunkeln. Wie wenig wir teilweise über diese KI-Modelle wissen, verdeutlicht jetzt auch der Foundation Model Transparency Index der Stanford University.
Der Index erfasst anhand von 100 Kriterien die Transparenz von Basismodellen. Darunter versteht man große Sprachmodelle, die als Grundlage für die Entwicklung spezialisierter Modelle genutzt werden. Bekannte Vertreter sind OpenAIs GPT-4, Googles Palm 2, StabilityAIs Stable Diffusion oder Metas Llama 2.
Kein Modell erreicht mehr als 54 von 100 möglichen Punkten
Für ihren Transparenzindex fragen die Wissenschaftler:innen insgesamt 100 Kategorien ab. Die reichen von der Herkunft der Trainingsdaten über die Dokumentation bis hin zum Einsatz menschlicher Arbeitskräfte und deren Gehalt sowie Arbeitsbedingungen bis hin zum Energieverbrauch und die damit verbundene Umweltbelastung.
Gleichzeitig wird auch abgefragt, wie mit potenziellen Datenschutz- oder Copyright-Verstößen umgegangen wird, welche Feedback-Mechanismen es gibt oder auch ob Endnutzer, die in irgendeiner Form mit der KI interagieren, auch darüber informiert werden, dass sie nicht mit einem Menschen sprechen.
Von den zehn untersuchten Basismodellen schlägt sich das quelloffene Basismodell Llama 2 noch am besten. Aber selbst das von Facebook-Mutter Meta entwickelte Modell erreicht auf dem Transparenzindex lediglich 54 von 100 möglichen Punkten. GPT-4 erreicht 48 Punkte, während Palm 2 nur auf 40 kommt.
Interessant ist an den Ergebnissen, dass zwar kein einzelner Anbieter durch einen Übermaß an Transparenz auffällt, die Branche als Ganzes betrachtet aber der Beantwortung der für den Index abgefragten Aspekte nicht gänzlich ablehnend gegenübersteht. Denn 82 der 100 Indikatoren wurden von mindestens einem Anbieter beantwortet.
Ist Transparenz denn so wichtig?
Aus Sicht der Anbieter erscheint es zunächst nachvollziehbar, dass viele technische Details nicht öffentlich gemacht werden. Auch für die Wahrnehmung des jeweiligen Unternehmens negative Aspekte wie den Einsatz schlechtbezahlter Datensortierer ist aus dieser Sichtweise logisch.
Das Forscher:innen-Team hinter dem Transparenz-Index argumentiert indes, dass Firmen ohne Transparenz kaum vernünftig entscheiden können, welches Basismodell sie sicher einsetzen können. Gleiches gelte für die Forschung und interessierte Privatpersonen. Und auch die Politik könne ohne alle relevanten Informationen kaum sinnvolle Regeln für den KI-Sektor aufstellen.
Am Ende sei der Index aber eben auch ein Anreiz für die Anbieter von Basismodellen, um sich zu verbessern. „Indizes ziehen ihre Kraft aus ihren nachfolgenden Iterationen, sodass Verbesserungen im Laufe der Zeit klar gemessen und anerkannt werden können“, heißt es in dem mit dem Index veröffentlichten Paper. Luft nach oben gäbe es genug.
