Anzeige
Anzeige
News

Disruptiv: Deepmind entwickelt mächtige KI mit Datenbankanbindung 

Die Experten von Deepmind zeigen, dass bei KI-Sprachmodellen nicht unbedingt der Grundsatz der schieren Größe die beste Leistung verspricht. Durch die Kombination mit einer Datenbank sei Top-Leistung ebenso möglich.

2 Min.
Artikel merken
Anzeige
Anzeige
Deepmind erfindet KI neu. (Bild: Phonlamai Photo / Shutterstock)

Die ehemalige Google-Ethik-Forscherin Timnit Gebru und ihr Team hatten in der Arbeit, die zu ihrer Entlassung aus dem Unternehmen führte, betont, dass die schiere Größe von KI-Modellen zu steigender Intransparenz führe. Moderne KI-Modelle würden dadurch noch undurchschaubarer als ein durchschnittliches neuronales Netzwerk – und das sei bereits als „Blackbox“ bekannt. Deshalb sei damit zu rechnen, dass Verzerrungen in aktuellen Modellen immer schwerer zu erkennen und zu mildern seien – ein schwerwiegendes ethisches Problem.

OpenAI zeigt: Leistung direkt proportional zur Größe

Anzeige
Anzeige

Diese Einschätzung kommt in einer Zeit, in der Forschende feststellen, dass die Mächtigkeit eines KI-Sprachmodells direkt proportional zu seiner Größe steigt. Das verdanken wir vornehmlich der Arbeit des einst von Elon Musk mitgegründeten Unternehmens OpenAI.

Mit der Veröffentlichung seines GPT-3-Modells hatten deren Experten gezeigt, dass eine Skalierung der Größe eines neuronalen Netzwerks und der Daten, mit denen es trainiert wurde, die Leistung bei einer Vielzahl von Sprachaufgaben erheblich steigern kann. Das galt anderen Einrichtungen als Beispiel. So konnte inzwischen eine ganze Reihe von KI-Unternehmen den Ansatz verifizieren: je größer das Modell, desto besser die Ergebnisse.

Anzeige
Anzeige

Die Forschenden von Deepmind liefern jetzt einen Gegenentwurf. In einer Reihe von Papieren erklärt das Team, wie es zunächst sein eigenes großes Sprachmodell namens Gopher erstellt hat, das mehr als 60 Prozent größer ist als GPT-3.

Anzeige
Anzeige

Deepmind erweitert KI um Datenbank

Dann zeigen sie, wie ein viel kleineres Modell, das mit der Fähigkeit ausgestattet ist, Informationen in einer Datenbank nachzuschlagen, mit Gopher und anderen großen Sprachmodellen mithalten kann. Sie nennen dieses Modell Retro, was als Abkürzung für Retrieval-Enhanced Transformer (Deutsch etwa: durch Nachschlagemöglichkeiten verbesserter Transformator) steht. Transformatoren sind eine spezielle Art von neuronalen Netzen, die in den meisten großen Sprachmodellen verwendet werden. Sie werden anhand von großen Datenmengen trainiert und sollen in der Lage sein, vorherzusagen, wie mit menschlichen Nutzenden im konkreten Anwendungsfall zu interagieren ist.

Auch im Retro-Modell werkelt ein Transformator. Der kann jedoch auf eine entscheidende Erweiterung zugreifen. So sagt Retro nicht nur voraus, welcher Text als Nächstes kommen sollte. Vielmehr kann Retro auf eine Datenbank mit zwei Billionen Textabschnitten zugreifen, um nach Passagen mit ähnlicher Sprache zu suchen, die seine Vorhersagen verbessern könnten.

Anzeige
Anzeige

Diese Erweiterung hebt Retro auf eine Leistungsstufe, die mit Modellen konkurrieren kann, die um das bis zu 25-fache größer sind. Besonders interessant unter Ethik-Aspekten: Die Transparenz, welche Textabschnitte das Modell für seine Vorhersagen herangezogen hat, könnte die Ergebnisse erklären helfen. Retro wäre keine reine Blackbox mehr. Zudem könnten verzerrende Einflüsse – einmal erkannt – direkt in der Datenbank verändert werden.

Aber was ist erst mit Riesenmodellen nebst Datenbank möglich?

Neben diesem Vorteil konnten die Forschenden zeigen, dass der Rückgriff auf eine Datenbank die Möglichkeit eröffnet, das Wissen des Modells zu aktualisieren, ohne es neu zu trainieren. Ebenfalls ist es nach Deepmind-Erkenntnissen möglich, bestehende Transformatoren für die Arbeit mit einer Datenbank nachzurüsten. Dazu müsse nur ein kleiner Teil des Netzwerks neu trainiert werden.

Dass der Retro-Ansatz nun tatsächlich Ethik-Forschende wie Timnit Gebru ruhiger schlafen lässt, steht nicht zu erwarten. Denn längst machen sich Forschende darüber Gedanken, wie gut erst riesige Sprachmodelle mit Datenbankanbindung performen könnten. Es bleibt also ein Rat Race.

Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Kommentare

Community-Richtlinien

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Kommentar abgeben

Melde dich an, um Kommentare schreiben und mit anderen Leser:innen und unseren Autor:innen diskutieren zu können.

Anmelden und kommentieren

Du hast noch keinen t3n-Account? Hier registrieren

Anzeige
Anzeige