KI-Modelle wie GPT-4 oder auch Stable Diffusion haben einen immer größeren Einfluss auf Wirtschaft und Gesellschaft. Trotz steigender Popularität bleiben viele Details über Entwicklung und Nutzung dieser Modelle aber nach wie vor im Dunkeln. Wie wenig wir teilweise über diese KI-Modelle wissen, verdeutlicht jetzt auch der Foundation Model Transparency Index der Stanford University.
Der Index erfasst anhand von 100 Kriterien die Transparenz von Basismodellen. Darunter versteht man große Sprachmodelle, die als Grundlage für die Entwicklung spezialisierter Modelle genutzt werden. Bekannte Vertreter sind OpenAIs GPT-4, Googles Palm 2, StabilityAIs Stable Diffusion oder Metas Llama 2.
Kein Modell erreicht mehr als 54 von 100 möglichen Punkten
Für ihren Transparenzindex fragen die Wissenschaftler:innen insgesamt 100 Kategorien ab. Die reichen von der Herkunft der Trainingsdaten über die Dokumentation bis hin zum Einsatz menschlicher Arbeitskräfte und deren Gehalt sowie Arbeitsbedingungen bis hin zum Energieverbrauch und die damit verbundene Umweltbelastung.
Gleichzeitig wird auch abgefragt, wie mit potenziellen Datenschutz- oder Copyright-Verstößen umgegangen wird, welche Feedback-Mechanismen es gibt oder auch ob Endnutzer, die in irgendeiner Form mit der KI interagieren, auch darüber informiert werden, dass sie nicht mit einem Menschen sprechen.
Von den zehn untersuchten Basismodellen schlägt sich das quelloffene Basismodell Llama 2 noch am besten. Aber selbst das von Facebook-Mutter Meta entwickelte Modell erreicht auf dem Transparenzindex lediglich 54 von 100 möglichen Punkten. GPT-4 erreicht 48 Punkte, während Palm 2 nur auf 40 kommt.
Interessant ist an den Ergebnissen, dass zwar kein einzelner Anbieter durch einen Übermaß an Transparenz auffällt, die Branche als Ganzes betrachtet aber der Beantwortung der für den Index abgefragten Aspekte nicht gänzlich ablehnend gegenübersteht. Denn 82 der 100 Indikatoren wurden von mindestens einem Anbieter beantwortet.
Ist Transparenz denn so wichtig?
Aus Sicht der Anbieter erscheint es zunächst nachvollziehbar, dass viele technische Details nicht öffentlich gemacht werden. Auch für die Wahrnehmung des jeweiligen Unternehmens negative Aspekte wie den Einsatz schlechtbezahlter Datensortierer ist aus dieser Sichtweise logisch.
Das Forscher:innen-Team hinter dem Transparenz-Index argumentiert indes, dass Firmen ohne Transparenz kaum vernünftig entscheiden können, welches Basismodell sie sicher einsetzen können. Gleiches gelte für die Forschung und interessierte Privatpersonen. Und auch die Politik könne ohne alle relevanten Informationen kaum sinnvolle Regeln für den KI-Sektor aufstellen.
Am Ende sei der Index aber eben auch ein Anreiz für die Anbieter von Basismodellen, um sich zu verbessern. „Indizes ziehen ihre Kraft aus ihren nachfolgenden Iterationen, sodass Verbesserungen im Laufe der Zeit klar gemessen und anerkannt werden können“, heißt es in dem mit dem Index veröffentlichten Paper. Luft nach oben gäbe es genug.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team