Hören und Sehen: KI verwandelt Umgebungsgeräusche in überraschend präzise Bilder
Das Rauschen eines Bachs lässt uns Menschen an gänzlich andere Bilder denken, als das Brummen eines Verbrennermotors. Genau darauf haben Forscher:innen der University of Texas jetzt auch eine KI trainiert. Die analysiert Umgebungsgeräusche und erzeugen daraus Bilder, die der ursprünglichen Location möglichst stark ähneln sollen. Das hat bei den Experimenten der Forscher:innen teilweise auch bemerkenswert gut funktioniert.
„Unsere Studie hat ergeben, dass akustische Umgebungen genügend visuelle Hinweise enthalten, um Straßenbilder mit hohem Wiedererkennungswert zu erzeugen, die die verschiedenen Orte genau wiedergeben“, erklären die Forscher:innen in ihrem im Fachjournal Computers, Environment and Urban Systems veröffentlichten Paper.
KI kann Umgebungsgeräusche in Bilder umwandeln – so funktioniert es
Für das Training ihrer KI griffen die Forscher:innen auf Youtube zurück. Dort besorgten sie sich Videos von Orten in Nordamerika, Asien und Europa. Anschließend extrahierten sie jeweils zehnsekündige Audio-Clips und Standbilder dieser Orte.
Zur Überprüfung des Systems wurden immer wieder Bilder aus Umgebungsgeräuschen generiert und per Computer und von Menschen bewertet. Die Computer sollten dabei jeweils bestimmen, wie nah die Verteilung von Grünflächen, Gebäuden und Himmel an die echten Aufnahmen herankam. Die menschlichen Helfer:innen wiederum mussten wiederum KI-generierte Bilder den korrekten Umgebungsgeräuschen zuordnen. Das gelang im Experiment mit einer 80-prozentigen Erfolgsquote.
Interessanterweise konnte die KI oft auch anhand der Geräusche erkennen, zu welcher Tageszeit die Bilder aufgenommen wurden und das in den eigenen Bildern korrekt nachbilden. Diese Informationen könnte die KI aus den Geräuschen nachtaktiver Tiere und Insekten oder auch dem Verkehrsaufkommen entnommen haben, so die Forscher:innen.
Kann die Forschung das Leben in Städten verbessern?
Während ihr Experiment vor allem zeigt, wie gut KI aus Geräuschen Informationen über Orte extrahieren kann, erhoffen sich die beteiligten Forscher:innen auch Rückschlüsse darauf, welche Faktoren dabei für Menschen eine Rolle spielen.
„Die Ergebnisse könnten unser Wissen über die Auswirkungen visueller und auditiver Wahrnehmungen auf die psychische Gesundheit des Menschen erweitern, eine Orientierungshilfe für die Gestaltung von Orten bieten und die Lebensqualität in Gemeinden insgesamt verbessern“, hoffen die Wissenschaftler:innen.
