Anzeige
Anzeige
Trendreport
Artikel merken

Transfer Learning: Das Wundermittel für mehr Intelligenz?

Transfer Learning wird oft als Wundermittel gepriesen, um künstliche ­Intelligenz zur Marktfähigkeit zu bringen. Doch auch wenn die Methode anscheinend Wunder vollbringt, ­so verschärft sie im selben Zug die ­Probleme der Technologie.

Von Eva Wolfangel
11 Min. Lesezeit
Anzeige
Anzeige

(Grafik: Hubertus Krohne)


Die Verzweiflung war groß, als Björn Schuller zu einem ­Wundermittel griff: Es hieß Transfer Learning und brachte ihm eine Vielzahl von ­Trainingsdaten ein, die ihm zuvor gefehlt ­hatten, um seine KI weiterzuentwickeln. Der Augsburger ­Professor für Informatik hat ein Startup gegründet, das Emotionen in menschlichen Stimmen erkennt. Das funktionierte schon recht gut, doch für manche ­Anwendungsfälle hatte er viel zu wenig Daten. Diese sind aber nötig, um Systeme künstlicher Intelligenz zu trainieren. Im Fall von Schuller braucht es etwa Sprachbeispiele von Menschen und die dazugehörige Einschätzung anderer Menschen, welche Emotionen hier transportiert werden – sogenannte ­„annotierte“ Daten. Solche, die Anmerkungen und Erläuterungen beinhalten. „Sprachdaten gibt es viele, aber es ist wahnsinnig aufwendig und teuer, annotierte Sprachdaten zu bekommen“, erklärt Schuller.

Also hat er zu einem ungewöhnlichen Mittel gegriffen: Er nutzte ein tiefes neuronales Netz, das auf Emotionserkennung in Musik trainiert war, und ließ es die Stimmung von verschiedenen Geräuschen erkennen. Schließlich empfinden wir Menschen manche Geräusche wie etwa Vogelgezwitscher als angenehm, Töne wie Autolärm dagegen als unangenehm. Und er griff auf Netze zurück, die auf menschliche Stimmungen bei Geräuschen – Verkehrslärm negativ, Vogelgezwitscher positiv – trainiert waren, und fütterte sie mit seinen Sprachdaten: Tatsächlich waren diese Netze recht gut darin, Emotionen in Sprachdaten zu erkennen. „Wir imitieren mit der Stimme offenbar Dinge, die wir in der Natur wahrnehmen.“ Allein mit dieser Mischung aus Geräusch­erkennung und Sprachdaten erzielte Schuller relativ schnell hohe ­Erkennungsraten von um die 70 Prozent. „Die Community war ziemlich ­erstaunt“, berichtet Schuller grinsend.

Anzeige
Anzeige

Unternehmen und Wissenschaftler verbinden derzeit sehr ­große Hoffnungen mit dem Transfer Learning: Er beschreibt die Methode, vortrainierte Modelle aus anderen Zusammenhängen zu nutzen, um eine künstliche Intelligenz zu verbessern. Diese Methode scheint die Lösung für eines der größten Probleme zu sein, die KI mit sich bringt, wenn sie ins reale Leben vordringt und ihre Marktfähigkeit beweisen will: die Trainingsdaten. Schuller, der seit 17 Jahren in diesem Bereich arbeitet, weiß: „Der Flaschenhals sind immer die ­Daten.“

Neuronale Netze und die Inselbegabung

Transfer Learning basiert auf Deep Learning. Diese moderne Methode des maschinellen Lernens hat verschiedene Schichten als Grundlage, auf denen die Neuronen Informationen weitergeben: In der Bild­erkennung beispielsweise erlernen die Netze in den ersten Schichten Linien, später Ecken, dann irgendwann Farben und ausgefeiltere Formen – und erst in den obersten Schichten wird die Entscheidung getroffen, was auf einem Bild zu sehen ist. Doch ein bekanntes ­Problem von maschinellem Lernen ist, dass die Netze meist nur sehr spezifische Probleme lösen können – nämlich jene, auf die sie trainiert wurden. Auch wenn der Begriff „neuronale Netze“ an Vorgänge im menschlichen Gehirn angelehnt ist, funktioniert das Lernen offenbar ziemlich anders: Menschen sind eher Generalisten, während neuronale Netze sehr konkrete Probleme lösen können – das allerdings oft besser als Menschen.

Anzeige
Anzeige

Meist funktionieren die Netze nur in jener Domäne gut, in der sie auch trainiert wurden. Da sie obendrein sehr viele Trainingsdaten brauchen, die Menschen annotiert haben müssen, sind sie recht teure, spezifische Problemlöser. Transfer Learning könnte hier Abhilfe schaffen.

Anzeige
Anzeige

„In der Bilderkennung funktioniert Transfer Learning schon recht gut“, sagt auch Zbigniew Jerzak, Leiter Machine Learning Research bei SAP. Beispielsweise für einen Service, der Produkte klassifizieren soll für einen Kunden, der Retouren automatisch richtig einordnen will. „Doch dafür braucht man viele Bilder von jedem Produkt, während der Hersteller meist nur genau eines im Katalog hat.“ Dafür habe sich Transfer Learning auf der Basis frei verfügbarer Bilddatenbanken aus der Wissenschaft bewährt. Auch wenn auf diesen keine Computer oder Smartphones zu ­sehen sind, sondern Hunde, Katzen, Bäume oder Häuser, helfen sie dem Netz, eben jene technischen Geräte des Kunden zu er­kennen. „Das Modell entwickelt dabei ein Verständnis, wie die Welt aussieht“, erklärt Jerzak.

Am Ende müsse es natürlich noch händisch angepasst werden an den Anwendungsfall. „Man radiert die allerletzte Ebene des Netzes aus, lässt die grundlegenden Konzepte drin und trainiert das System dann auf neuen Daten.“ Dafür brauche es aber dann entsprechend weniger Trainingsdaten, da es die Grundlagen ja schon gelernt habe. „Das ist vergleichbar damit, wie ein Mensch lernt, sich in der Umwelt zu bewegen“, so Jerzak. „Sie können sich ja auch auf einem Schiff zurechtfinden, auch wenn Sie sich bislang nur in Häusern bewegt haben.“

Anzeige
Anzeige

Die Technologie kam SAP gerade recht, denn auch das Unternehmen hatte bemerkt, dass genau jene Fälle, für die künstliche ­Intelligenz gut geeignet ist, gleichzeitig ein Problem mit sich bringen: Es sind Spezialfälle, sehr spezifische Anwendungsfälle wie zum Beispiel die automatische Erkennung eines konkreten Produktes eines Unternehmens. Das bedeutet, es gibt in der ­Regel wenig Trainingsdaten – es braucht aber viele, um ein zufriedenstellendes Ergebnis zu erzielen. „Wir machen seit 45 Jahren nichts anderes, als Geschäftsprozesse in Software zu gießen“, so Jerzak. Viele dieser Prozesse sind sehr ähnlich – jeder verkauft schließlich irgendein Produkt oder eine Dienstleistung und muss abrechnen. Doch gerade jene Probleme, die sich bisher nicht so gut automatisieren ließen, sind für das ­maschinelle Lernen geeignet: „Machine Learning hilft da, wo Standardsoftware Probleme hat.“

Meist zu wenig Daten verfügbar

Jerzak führt das Beispiel einer Rechnung an: Wenn ein Kunde Tausende Lieferanten hat, sieht die Rechnung bei jedem ein bisschen anders aus. Von wem kommt sie? Wo steht der Betrag, wo das gelieferte Produkt? „Künstliche Intelligenz kann hier helfen, diese Prozesse sauberer und schneller abzuwickeln.“ Denn ­maschinelles Lernen ist flexibler als klassische, nach Regeln programmierte Software. Allerdings gibt es auch hier das Problem mit den Trainingsdaten: „Wir haben meist nur wenige annotierte Beispiele oder es ist kostenintensiv, diese vorzubereiten. Hier ist Transferlernen eine Krücke.“

Sowohl Schuller als auch Jerzak sind zwar überzeugt, dass ­Transfer Learning gerade für die Unternehmen ein riesiges ­Potenzial bietet, um KI-Systeme konkret einsetzen zu können. Das Potenzial muss aber erst noch erschlossen werden. In der Textverarbeitung können transfer-learning-basierte ­Systeme etwa mittels Wikipedia-Daten vortrainiert werden, erklärt Jerzak: „Das hilft ihnen, zu verstehen, was ein Verb ist, was eine Person und so weiter. Das kann ich in den Businesskontext einbetten und auf dieser Grundlage lernen, was ein Nutzer ist und was ein ­Produkt.“ Ein solches System lerne schneller und genauer. Bei visuellen Systemen sei dieses „Abschneiden“ der letzten Ebenen noch einfacher, da sich die Abstraktionsebenen besser anschauen ließen als bei anderen Daten. „Es ist immer die entscheidende Frage: Was lasse ich das System vergessen und was nicht?“ Doch auch wenn er der Meinung ist, dass Transfer Learning „super funktioniert“, so sei es doch eine Sache der Erfahrung: „Wir haben Jahre in die Entwicklung gesteckt – und man weiß nie, ob es am Ende funktioniert.“

Anzeige
Anzeige

Auch Schuller bestätigt, dass Transfer Learning viel mit Ausprobieren zu tun habe. Das hat er ausgiebig getan und vor allem eines gelernt: Die Probleme müssen nicht unbedingt sehr ähnlich sein – zumindest nicht aus menschlicher Perspektive – und es scheint nicht intuitiv zu sein, welche Probleme ähnlich genug sind oder von welchen aufeinander aufbauend gelernt werden kann. So hat Schuller – angestachelt von seinen Erfolgen im Transfer Learning – schließlich sogar ein Netz aus der Bilderkennung genutzt, um Sprachdaten auszuwerten. „Das hat mich selbst ein wenig überrascht, dass das funktioniert hat. Es war ja eine drastisch andere Domäne.“ Schuller und seine Kollegen haben dafür das Audiosignal als Spektrum abgebildet und die Energie in den Frequenzen als dritte Dimension in den Farben Grün und Blau codiert. „Die funktionierten am besten, wahrscheinlich weil Grün und Blau auch auf vielen Bildern vorkommen“, sagt Schuller, „als Himmel und Landschaft.“

Die anfängliche Genauigkeit sei dabei oft nicht so wichtig – wichtig sei nur, dass sie über dem Zufall liege. „Denn dann können wir anfangen, leicht überwacht zu lernen oder aktiv zu lernen.“ Sobald die Richtung klar ist, kann sich ein System ­verbessern und immer dann Menschen um Hilfe fragen, wenn es sich davon eine relevante Erkenntnis erhofft. Dieses „aktive Lernen“ ist der nächste Schritt, der Schuller hilft, mit weniger Annotations­aufwand als üblich die Genauigkeit seiner Netze zu verbessern.

So hatte er etwa Probleme, genügend Sprachdaten autis­tischer Kinder zu erheben, um für diese Zielgruppe ein Trainingssystem zu bauen, das dabei hilft, sowohl die eigenen Emotionen besser zu vermitteln als auch andere besser zu verstehen. Also ­nutzte er kurzerhand ein Netz, das auf Erwachsenen­sprachdaten ­vortrainiert war, was die Genauigkeit beim Lernen mit den Kindersprachdaten von 50 Prozent auf 60 bis 70 Prozent erhöhte. ­Mittels „kooperativem aktivem Lernen“, bei dem die ­Systeme selbst einschätzen, wie sicher sie sich sind, und nur dann beim Menschen nachfragen, wenn sie sich davon einen größeren ­Lernerfolg versprechen, wurde die Genauigkeit noch besser: „Wir konnten so die Zahl der nötigen Nachfragen auf ein ­Zwanzigstel reduzieren“, berichtet Schuller. Und überall, wo keine ­menschliche Arbeitskraft mehr einfließen muss, werden die Systeme ­günstiger.

Anzeige
Anzeige

„Machine Learning hat viel mit Ausprobieren zu tun“, sagt ­Zbigniew Jerzak von SAP. „Sie wissen nie, ob sie mit den Daten die Ergebnisse erzielen, die sie wollen.“ Deshalb sei Transfer ­Learning vor allem für kleine Unternehmen eine Hürde. „Es ist ein großes Investment.“ SAP habe nicht zuletzt wegen der Vielzahl an Kundendaten einen Vorteil: Sie führen zu sehr robusten Systemen. SAP verkaufe deshalb halbtrainierte Netze für gewisse Anwendungsbereiche an Unternehmen, für die es zu aufwendig ist, komplett selbst zu trainieren.

Andererseits haben kleine Unternehmen auch eine ­gewisse ­Narrenfreiheit. „Wir können es uns leisten, dass mal etwas schiefgeht“, sagt Björn Schuller. „Google vielleicht eher nicht.“ Er ist überzeugt, dass Google ebenfalls im Hintergrund mit Sprachdaten und ­Emotionen experimentiert, aber sich damit noch nicht an die Öffentlichkeit wagt. Vielleicht auch, weil Google immer noch unter einem peinlichen Vorfall mit maschinellem Lernen leidet: 2015 erkannte eine Bilderkennungs­software im Foto einer dunkelhäutigen Frau fälschlicherweise einen Gorilla. Google merkte das erst, als der Tweet der Betroffenen viral ging.

Das Problem mit der Diskriminierung

Diese Fehlbarkeit und nicht nachvollziehbare maschinelle Entscheidungen sind Probleme, die durch Transfer Learning noch verstärkt werden, warnt Marcel Blattner, Chief Data Scientist bei der Schweizer Mediengruppe Tamedia. „Die Risiken von Transfer Learning werden oft unterschätzt.“ So besteht die Gefahr, dass Transfer Learning ein bekanntes Problem künstlicher Intelligenz noch verschärft: Immer wieder treffen Systeme des maschinellen Lernens Fehlentscheidungen oder verstärken rassistische oder sexisitische Diskriminierung, weil die Vorurteile schon in den Trainingsdaten stecken.

Anzeige
Anzeige

Wie schnell es ganz unabhängig von Transfer Learning gehen kann, dass Systeme des maschinellen Lernens Ausgrenzung verstärken, erklärt er am Beispiel eines Londoner Krankenhauses, das bereits in den 1980er-Jahren den Bewerbungsprozess teil­automatisieren wollte und ein System des maschinellen Lernens eine Vorauswahl der Bewerbungen auf Arztstellen treffen ließ: „Es wurde acht Monate damit gearbeitet – und in dieser Zeit hat die Maschine deutlich weniger Frauen und Ausländer vorgeschlagen.“ Sie hatte die Rassismen und Sexismen ihrer menschlichen Vorgänger übernommen und zur Perfektion getrieben. Häufig sind Trainingsdaten verzerrt – und häufig ist das allein schon schwer nachzuvollziehen. Transfer Learning macht solche Verzerrungen noch unsichtbarer und verbreitet sie im Zweifel weiter.

„Wenn du bei Sprachmodellen auf Wikipedia vortrainierte ­Netze nimmst und mit diesen Transfer Learning machst, übernimmst du ­deren Bias in dein neues System“, beschreibt es Blattner. Schließlich stecken auch in ­Wikipedia die Vorurteile der Menschheit. Wenn man Transfer ­Learning richtig machen wolle, müsse man schauen, was die Ursprungsdaten sind und für welchen Zweck sie einst verwendet wurden. Blattner mahnt: „Man muss immer fragen: Was für ein Problem kann das verursachen?“ Doch das machen noch lange nicht alle, im Gegenteil: „Transfer Learning ist einfach zu machen. Ich lade irgendwo ein Modell herunter und gebe meine Daten hinein. Firmen stehen oft unter Zeitdruck und können nicht alle nötigen Checks durchführen.“

Für die Onlinemedien der Tamedia haben Blattner und sein Team beispielsweise ein System entwickelt, das automatisch Vorschläge macht, welche Kommentare unter Artikeln nicht veröffentlicht werden sollen. „Dieses Netz ist extrem ‚gebiast‘, weil diese Kommentare Meinungen einer bestimmten Bevölkerungsgruppe reflektieren.“ So habe das System viele sexistische und rassistische Vokabeln gelernt. Zudem sei es besonders sensibel bei Kommentaren über Politikerinnen – weil diese viel häufiger beleidigt werden als ihre männlichen Kollegen. „Würde man dieses System nun beispielsweise nehmen, um die Qualität von Artikeln zu überprüfen, würde man den Bias des Kommentar-Universums mit in die neue Aufgabe übernehmen.“ Womöglich würden dann Artikel über Frauen und Männer mit zweierlei Maß gemessen. „Das zeigt die Gefahr von Transfer Learning.“

Anzeige
Anzeige

Gefährlich sei es auch, wenn ein Bias in einem Modell für den ­ersten Anwendungsfall kein Problem war, in einer anderen Domäne aber richtig Schaden anrichte – wie im Beispiel der ­Kommentar-Moderation per KI. Eigentlich müsse jeder Anwender eines solchen Systems die Trainingsdaten anschauen und verstehen, welche Probleme sie beinhalten. Doch Blattner hat mit ­vielen großen Firmen gesprochen und wenig Vertrauen: „Das Problem ist die Aufgabenteilung. In der ganzen Pipeline, in der diese Systeme entstehen – von der Datengewinnung bis zu dem ­Moment, an dem sie in die Welt hinausgelassen werden – herrscht oft Aufgabenteilung.“ Und über schlechte Dokumentation wurde schon viel geschrieben. „Oft versteht derjenige, der das Modell konsumiert, nicht, wie es funktioniert.“

Letztlich sei es teuer, das alles nachzuvollziehen. Und auch einen Bias aus einem System zu entfernen, sei aufwendig. „Die Systeme werden meist schlechter dadurch. Daran haben die Unternehmen oft kein Interesse.“ Stattdessen würden sie die Technik durch ­verzerrte Trainingsdaten mit halbgaren Ergebnissen und Ungenauigkeiten auf den Markt bringen. Das sei ärgerlich, weil es unter anderem die Benachteiligung be­stimmter ­Bevölkerungsgruppen immer weiter verschärfe – ohne, dass ­diese unfairen Entscheidungen von Menschen wirklich nachvollzogen werden könnten. Blattner ärgert das: „Ich glaube an diese Technologie und ich glaube, dass sie uns weiterbringen kann, aber nur mit einem ehrlichen Diskurs.“ Bei genauer Betrachtung sei Transfer Learning alles andere als einfach – und das werde zu selten berücksichtigt.

Schuller bestätigt diese Gefahr: „Die Erklärbarkeit wird in der Tat durch Transfer Learning noch herausfordernder.“ Schließlich sei es ohnehin oft schwierig, herauszubekommen, wie eine KI zu ihren Schlüssen komme. „Wenn man die Trainingsdaten nicht einmal kennt, ist das natürlich kaum mehr möglich.“ Auch SAP weiß um die Fehlentscheidungen künstlicher Intelligenz und hat sich mit ihnen arrangiert. „Maschinelles Lernen hat nie eine Genauigkeit von 100 Prozent“, sagt Jerzak. Deshalb schaue im ­Falle der Rechnungen immer noch ein Mensch drauf. „Man kann es nicht blind einsetzen, schließlich ist Transfer Learning ein Teil von einem software-unterstützten Business­prozess und muss den Anforderungen an Genauigkeit unterliegen.“ Die im Beispiel beschriebenen Rechnungen würden mit maschinellem Lernen dennoch schneller und genauer bearbeitet als vorher: „Menschen machen schließlich auch Fehler. Und das, obwohl sie Generalisten sind – was die Maschinen erst noch werden müssen.“

Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Schreib den ersten Kommentar!
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige