Mit Stable Diffusion: Forscher lesen menschliche Gehirnaktivität aus

Die Ergebnisse sind verblüffend. (Screenshot: Graduate School of Frontier Biosciences, Osaka University)
Der Einsatz von künstlicher Intelligenz kann mitunter schon ziemlich unheimlich sein. Innerhalb von Sekunden erstellen KI Texte, Bilder und sogar Videos, die auf den ersten Blick auch aus der menschlichen Feder stammen könnten. Es scheint nur eine Frage der Zeit zu sein, bis künstliche Intelligenzen den Menschen im Job und im Alltag mehr und mehr unter die Arme greifen und komplexe Aufgaben übernehmen.
Die japanischen Forscher Yu Takagi und Shinji Nishimoto von der Universität in Osaka haben sich jetzt den beliebten Text-zu-Bild-Generator Stable Diffusion geschnappt und ihn dazu gebracht, die Gedanken von Probanden zu lesen. Ihrer Ergebnisse haben sie in einem Paper veröffentlicht, das allerdings noch nicht durch einen unabhängigen Gutachter bewertet wurde. Dennoch sind die Ergebnisse verblüffend.
„Die Rekonstruktion visueller Erfahrungen aus der menschlichen Gehirnaktivität bietet eine einzigartige Möglichkeit, zu verstehen, wie das Gehirn die Welt darstellt, und die Verbindung zwischen Computer-Vision-Modellen und unserem visuellen System zu interpretieren“, schreiben die Wissenschaftler. „Während für diese Aufgabe kürzlich tiefe generative Modelle eingesetzt wurden, ist die Rekonstruktion realistischer Bilder mit hoher semantischer Genauigkeit immer noch ein herausforderndes Problem“.
Um dieses Problem zu lösen, schlagen die Forscher eine neue Methode vor, die auf einem Diffusionsmodell basiert, um Bilder der menschlichen Gehirnaktivität zu rekonstruieren. Sie entschieden sich für Stable Diffusion, da dieses Modell die Rechenkosten reduziert, aber gleichzeitig hohe generative Leistung bringt. Laut der Forscher zeigt „unser einfaches Framework hochauflösende Bilder aus Gehirnaktivitäten mit hoher semantischer Genauigkeit […], ohne dass ein Training oder eine Feinabstimmung komplexer tiefer generativer Modelle erforderlich ist“.
In dem Experiment wurden visuelle Bilder aus den Signalen funktioneller Magnetresonanztomographie rekonstruiert, nachdem Menschen ein Bild vorgelegt worden war, das sie sich genau anschauen sollten. Die Ergebnisse sprechen dabei für sich.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team