Anzeige
Anzeige
News
Artikel merken

KI erreicht menschliches Niveau: Googles Palm ist das größte Sprachmodell der Welt

Noch immer gilt die Annahme, dass ein Sprachmodell umso fähiger ist, je größer es wird. Hier holt sich Google mit seinem Pathways Language Model (Palm) die Krone, zeigt aber auch, wo noch Luft nach oben ist.

2 Min. Lesezeit
Anzeige
Anzeige

Neue KI-Sprachmodelle definieren sich nicht nur über schiere Größe. (Bild: Phonlamai Photo / Shutterstock)

Die Forschung im Bereich der Sprach-KI schreitet rasant voran. Jetzt haben die Wissenschaftlerinnen und Wissenschaftler von Google das größte Sprachmodell, das jemals der Öffentlichkeit gezeigt wurde, vorgestellt.

Schiere Größe reicht nicht mehr: Sprachmodelle diversifizieren sich

Anzeige
Anzeige

In einem Blogbeitrag erklärt das Team, mit seinem Pathways Language Model (Palm) eine KI erschaffen zu haben, die mit mehr als 540 Milliarden Parameter größer als das Megatron-Turing-Natural-Language-Generation-Model (MT-NLG) von Microsoft und Nvidia ist. In verschiedenen Tests überzeuge das Modell dermaßen, dass es mit menschlichen Leistungen mithalten könne.

Schon bei der Entwicklung des Sprachmodells Gopher sind die Forschenden des Alphabet-Unternehmens Deepmind zu der Erkenntnis gelangt, dass ein reines Skalieren des Modells nicht zwingend zu besseren Ergebnissen führt. Deshalb haben sie zwischenzeitlich unter der Bezeichnung Retro ein sehr viel kleineres Modell entwickelt, das wegen einer Eigenart dennoch mit KI mithalten kann, die über das bis zu 25-fache der Parameter enthalten. Retro kann nämlich auf eine Datenbank mit zwei Billionen Textabschnitten zugreifen, um nach Passagen mit ähnlicher Sprache zu suchen, die seine Vorhersagen verbessern könnten.

Anzeige
Anzeige

Pathways kombiniert Multitasking mit Parameter-Modell

Bei der Entwicklung von Palm setzt Google auch nicht mehr auf die schiere Größe, obwohl die natürlich riesig ist. Beim neuen Palm-System wird die KI-Leistung mit einer Form von Multitasking kombiniert, um die Leistungsfähigkeit zu erhöhen. Diese Multitasking-Fähigkeit, die Google Pathways nennt, wurde nun erstmals zur Unterstützung eines Sprachmodells eingesetzt. Dadurch soll es den Forschenden gelungen sein, ein Modell zu erschaffen, dessen zwar beachtliche quantitative Werte nicht allein für die qualitative Aussage herangezogen werden. So konnte das Palm-Modell auch in den gängigen Tests zur Beurteilung der Leistungsfähigkeit eines Sprachmodells glänzen.

Anzeige
Anzeige

Palm soll in 28 von 29 Tests den Wettbewerb teils deutlich hinter sich gelassen haben. Dabei handelte es sich um vorwiegend einsprachige Tests wie einfache Frage-Antwort-Tests, Lückentexte, Satzvervollständigungen, Aufgaben zum Leseverstehen und zum logischen Denken sowie Tests, bei denen es darauf ankommt, aus natürlich-sprachlichen Aussagen die richtigen Schlüsse zu ziehen. Bei derlei Tests konnte Palm teils Fähigkeiten zeigen, die auf dem Niveau des Sprachverständnisses von 9- bis 12-Jährigen lagen, so Google.

Auch bei Übersetzungsaufgaben habe das System eine „starke Leistung“ erbracht. Gleiches gelte für das anspruchsvolle Lernen mit vergleichsweise wenig Information, das sogenannte Few-Shot-Learning. Dabei soll Palm erneut mit dem Durchschnitt menschlicher Ergebnisse für diese Tests mithalten können.

Anzeige
Anzeige

Sprachmodelle können noch immer durch reine Skalierung potenter werden

Trotz Pathways und Retro sieht das Forschenden-Team immer noch Leistungssteigerungen als möglich an, die sich durch das reine Skalieren der Modelle ergeben können. Die 580 Milliarden Parameter des Palm-Modells dürften demnach schon bald im Rückspiegel verschwinden. Das gefällt nicht jedem. So hatten die ehemalige Google-Ethik-Forscherin Timnit Gebru und ihr Team in der Arbeit, die zu ihrer Entlassung aus dem Unternehmen führte, betont, dass die schiere Größe von KI-Modellen zu steigender Intransparenz führe. Moderne KI-Modelle würden dadurch noch undurchschaubarer als ein durchschnittliches neuronales Netzwerk – und das sei bereits als „Blackbox“ bekannt. Deshalb sei damit zu rechnen, dass Verzerrungen in aktuellen Modellen immer schwerer zu erkennen und zu mildern seien – ein schwerwiegendes ethisches Problem, für das es bislang keine Lösung gibt.

Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Ein Kommentar
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

S.Krol

Die Gefahr wäre zu groß das für den Otto Normal Bürger freizuschalten.
Deswegen bleibt KI ab diesem Fortschrittslevel unter Verschluss.

Antworten

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige