Anzeige
Anzeige
News
Artikel merken

Neue KI-Technologie lernt von Video, Audio und Text für Google-ähnliche Suche

Eine neue KI kann in verschiedenen Modalitäten wie Video, Audio und Text lernen und diese miteinander verbinden. So wird zum Beispiel eine Google-ähnliche Suche in Videos möglich.

2 Min. Lesezeit
Anzeige
Anzeige

Eine neue KI kann in mehreren Modalitäten lernen. (Bild: Shutterstock / archy13)

Ein neues KI-System, entwickelt von Forschern der Cornell Universität, kann Inhalte crossmedial über Video, Audio und Text hinweg lernen. Das bedeutet, es kann nicht nur erkennen, wenn jemand in einem Video jongliert, es kann die Aktion auch mit dem gesprochenen Wort „jonglieren“ verbinden. So könnte es mit dem System in Zukunft möglich sein, Inhalte innerhalb von Videos zu durchsuchen, nicht nur den Titel und die Beschreibung, wie wir es momentan tun.

Anzeige
Anzeige

Alexander Liu, ein Doktorand am Computer Science and Artificial Intelligence Laboratory, beschreibt das laut Scitech Daily folgendermaßen: „Genau wie bei einer Google-Suche geben Sie einen Text ein und die Maschine versucht, Ihnen die relevantesten Dinge mitzuteilen, nach denen Sie suchen.“ Das könnten zum Beispiel einzelne Szenen aus einem Video sein, in denen passiert, was der Suchende mit dem Text beschreibt.

Die KI muss erst einmal lernen

Bevor das allerdings möglich ist, muss die KI erst einmal lernen, was in dem Video passiert und wie die Aktionen mit den gesprochenen oder geschriebenen Worten verbunden werden. „Die größte Herausforderung dabei ist“, so Liu, „wie kann eine Maschine diese unterschiedlichen Modalitäten aufeinander abstimmen? Als Menschen fällt uns das leicht. Wir sehen ein Auto und hören dann das Geräusch eines vorbeifahrenden Autos, und wir wissen, dass dies dasselbe ist. Aber für maschinelles Lernen ist es nicht so einfach.“

Anzeige
Anzeige

Um die Herausforderung zu bewältigen, kann die KI der Forscher Daten so darstellen, dass sie Konzepte erfassen kann, die zwischen visuellen und akustischen Daten geteilt werden können.

Sieht die KI zum Beispiel ein weinendes Baby, kann sie es mit dem gesprochenen Wort „weinen“ verbinden. Laut Scidaily kann das Modell der Forscher der Cornell Universität das besser als vergleichbare Modelle.

Anzeige
Anzeige

Herausforderungen

Allerdings gibt es noch einige Einschränkungen für das Modell. So kann es zum Beispiel bisher nur 1.000 Worte pro Video auswählen, um zu beschreiben, was darin passiert. Für Testzwecke ist das ausreichend, in der echten Welt könnten die 1.000 Wörter aber oft nicht genügen.

Außerdem kann die KI sich nur auf zwei Modalitäten gleichzeitig konzentrieren. Zum Beispiel Video und Audio oder Video und Text. In der echten Welt finden aber häufig mehrere Modalitäten gleichzeitig statt. Das kann das KI-System noch nicht darstellen.

Anzeige
Anzeige

Apple nutzt derweil eine KI, um es Autoren kleiner Verlage zu ermöglichen, Hörbücher einzulesen.

Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Schreib den ersten Kommentar!
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige