Maria wuchs in den Vierzigerjahren des vergangenen Jahrhunderts im spanischen Barcelona auf. Ihre ersten Erinnerungen an ihren Vater sind dramatisch: Als Sechsjährige besuchte Maria die Wohnung eines Nachbarn in ihrem Haus, wenn sie ihn sehen wollte. Von dort aus konnte sie durch das Geländer eines Balkons in das darunter liegende Gefängnis schauen und versuchen, einen Blick auf ihn durch das kleine Fenster seiner Zelle zu erhaschen. In dieser war er nämlich wegen seiner Widerstandstätigkeit gegen Diktator Francisco Franco eingesperrt.

Es gibt aber kein einziges Foto von Maria auf diesem Balkon. Doch jetzt kann die alte Frau etwas Ähnliches in der Hand halten: einen Deep Fake, oder auch eine „gedächtnisbasierte Rekonstruktion“, wie es das in Barcelona ansässige Designstudio Domestic Data Streamers nennt. Das Unternehmen erstellt Bilder von Szenen, die ein echtes Foto eingefangen haben könnte. Die unechten Schnappschüsse sind zwar noch unscharf und etwas verzerrt, aber sie können dennoch ein ganzes Leben zu einem Augenblick zurückspulen.

„Es ist leicht zu erkennen, wenn man das richtige Motiv der Vergangenheit erwischt hat, weil es eine sehr intuitive Reaktion gibt“, sagt Pau Garcia, Gründer von Domestic Data Streamers. „Das passiert jedes Mal. Die Betroffenen sagen dann: ‚Oh ja! So war es!'“

Dutzende von Menschen haben ihre Erinnerungen auf diese Art bereits in Bilder umgewandelt. Das Projekt „Synthetic Memories“ nutzt generative KI-Systeme wie Dall-E von OpenAI, um die Erinnerungen von Menschen zum Leben zu erwecken. Seit 2022 arbeitet das von den Vereinten Nationen und Google mitfinanzierte Studio unter anderem mit Einwanderern und Flüchtlingen auf der ganzen Welt zusammen, um Bilder von Szenen zu erstellen, die nie wirklich fotografiert wurden – oder um Fotos wiederherzustellen, die verloren gingen, als die Familien ihr früheres Zuhause verlassen mussten.

Mittlerweile hat Domestic Data Streamers ein Gebäude neben dem Barcelona Design Museum übernommen, um die Erinnerungen der Menschen an die Stadt mit synthetischen Bildern aufzuzeichnen. Jeder kann vorbeikommen und eine Erinnerung für das wachsende Archiv beisteuern, sagt Garcia.

Die „Synthetic Memories“ könnten sich als mehr als ein soziales oder kulturelles Projekt erweisen. In diesem Sommer wird das Studio eine Zusammenarbeit mit Forschern beginnen, um herauszufinden, ob die Technik zur Hilfe bei Demenz eingesetzt werden kann.

Die Idee für das Projekt entstand aus einer Erfahrung, die Garcia 2014 machte, als er in Griechenland für eine Organisation arbeitete, die Flüchtlingsfamilien aus Syrien half. Eine Frau erzählte ihm, sie habe keine Angst davor, selbst ein Flüchtling zu sein, aber sie habe Angst davor, dass ihre Kinder und Enkelkinder ihre Familiengeschichte vergessen könnten: wo sie einkauften, wie sie sich kleideten, wie sie lebten.

Garcia bat Freiwillige, die Erinnerungen der Frau als Graffiti an die Wände des Gebäudes zu zeichnen, in dem die Familien untergebracht waren. „Es waren wirklich ziemlich schlechte Bilder, aber die Idee für synthetische Erinnerungen war geboren“, sagt er. Einige Jahre später, als Garcia sah, was generative Bildmodelle leisten können, erinnerte er sich an dieses Graffiti. „Es war eines der ersten Dinge, die mir in den Sinn kamen“, sagt er.

„Der Stuhl stand auf dieser Seite“

Das Verfahren, das Garcia und sein Team entwickelt haben, ist einfach. Ein Interviewer setzt sich mit einer Person zusammen und bittet sie, sich an eine bestimmte Szene oder ein Ereignis zu erinnern. Ein „Souffleur“ mit einem Laptop verwendet diese Erinnerung, um einen Eingabeprompt für ein KI-Modell zu entwerfen, das dann ein Bild erzeugt.

Sein Team hat eine Art Glossar mit Begriffen für die Eingabeaufforderung erstellt, die sich als gut geeignet erwiesen haben, um verschiedene historische Epochen und Orte zu erhalten. Aber es gibt oft ein Hin und Her, einige Optimierungen des Prompts, sagt Garcia: „Man zeigt der Person das Bild, das aus dem Prompt generiert wurde, und sie sagt vielleicht: ‚Oh, der Stuhl stand auf dieser Seite‘ oder ‚Es war in der Nacht, nicht am Tag‘. Man verfeinert es, bis man einen Punkt erreicht hat, an dem es Klick macht.“

Bislang hat Domestic Data Streamers die Technik eingesetzt, um die Erinnerungen von Menschen aus verschiedenen Migranten-Communitys zu bewahren, darunter koreanische, bolivianische und argentinische Menschen, die in São Paolo, Brasilien, leben. Das Team hat aber auch mit einem Pflegeheim in Barcelona zusammengearbeitet, um herauszufinden, wie solche erinnerungsbasierte Rekonstruktionen älteren Menschen helfen könnten.

Das Team arbeitete mit Forschern in Barcelona an einem kleinen Pilotprojekt mit zwölf Probanden, bei dem der Ansatz der „Reminiszenztherapie“ angewandt wurde – einer Behandlung für Demenzkranke, die darauf abzielt, die kognitiven Fähigkeiten durch das Zeigen von Bildern aus der Vergangenheit zu stimulieren. Die in den 1960er-Jahren entwickelte Reminiszenztherapie hat viele Befürworter, aber die Forscher sind sich nicht einig, wie wirksam sie ist und wie sie durchgeführt werden sollte.

Die Pilotstudie ermöglichte es dem Team, den Prozess zu verfeinern und sicherzustellen, dass die Teilnehmer auch wirklich informiert ihre Zustimmung geben konnten, sagt Garcia. Die Forscher planen nun, im Sommer zusammen mit Kollegen an der Universität Toronto eine größere klinische Studie durchzuführen, um den Einsatz generativer Bild-KI-Systeme mit anderen therapeutischen Ansätzen zu vergleichen.

Eine Erkenntnis aus dem Pilotprojekt war, dass ältere Menschen die Bilder viel besser verstehen, wenn sie ausgedruckt sind. „Wenn sie sie auf einem Bildschirm sehen, haben sie nicht dieselbe emotionale Beziehung zu ihnen“, sagt Garcia. „Aber wenn sie sie physisch greifen konnten, wurde die Erinnerung viel deutlicher.“

Die Forscher haben auch festgestellt, dass erstaunlicherweise ältere Versionen von generativen Bild-KI besser funktionieren als neuere. Sie begannen das Projekt mit zwei Modellen, die 2022 auf den Markt kamen: Dall-E 2 und Stable Diffusion, ein frei verwendbares generatives Bildmodell von Stability AI. Diese Modelle können Bilder erzeugen, die fehlerbehaftet sind, mit verzerrten Gesichtern und verdrehten Körpern. Als sie jedoch zur neuesten Version von Midjourney (einem neueren generativen Bildmodell, das detailreichere Bilder erzeugen kann) wechselten, kamen die Ergebnisse bei den Menschen nicht so gut an.

„Wenn man etwas superrealistisch macht, konzentrieren sich die Leute auf Details, die nicht da waren“, sagt Garcia. „Wenn es unscharf ist, kommt das Konzept besser rüber. Erinnerungen sind ein bisschen wie Träume. Sie verhalten sich nicht wie Fotos mit forensischen Details. Man erinnert sich nicht daran, ob der Stuhl rot oder grün war. Man erinnert sich einfach daran, dass es einen Stuhl gab.“

Inzwischen ist das Team daher wieder zu den älteren Modellen zurückgekehrt. „Für uns sind die Fehler etwas Besonderes“, sagt Garcia. „Manchmal sind die Dinge da und nicht da. Es handelt sich um eine Art Quantenzustand in den Bildern, der sehr gut mit Erinnerungen funktioniert.“

Sam Lawton, ein unabhängiger Filmemacher, ist von dem Projekt begeistert. Er ist besonders glücklich darüber, dass das Team die kognitiven Auswirkungen dieser Bilder in einer strengen klinischen Studie untersuchen wird. Lawton hat selbst generative Bildmodelle verwendet, um seine eigenen Erinnerungen zu rekonstruieren. In seinem Film „Expanded Childhood“ vom letzten Jahr verwendete er Dall-E, um alte Familienfotos über ihre Grenzen hinaus zu erweitern, indem er reale Kindheitsszenen mit surrealen Szenen vermischte.

„Die Wirkung, die diese Art von generativen Bildern auf das Gehirn eines Menschen hat, hat mich dazu bewogen, den Film zu machen“, sagt Lawton. „Ich war nicht in der Lage, eine umfassende Forschungsarbeit zu starten, also habe ich mich auf die Art des Geschichtenerzählens verlegt, die für mich am natürlichsten ist.“

Lawton geht in seiner Arbeit einer Reihe von Fragen nach: Wie wirkt sich die langfristige Auseinandersetzung mit KI-generierten oder veränderten Bildern auf uns aus? Können solche Bilder helfen, traumatische Erinnerungen zu verarbeiten? Oder erzeugen sie ein falsches Realitätsempfinden, das zu Verwirrung und kognitiver Dissonanz führen kann?

Lawton hat die Bilder in „Expanded Childhood“ seinem Vater gezeigt und seine Kommentare in den Film aufgenommen: „Irgendetwas stimmt nicht. Ich weiß nicht, was es ist. Kann ich mich nur nicht daran erinnern?“

Garcia ist sich der Gefahr bewusst, subjektive Erinnerungen mit echten fotografischen Aufzeichnungen zu verwechseln. Die erinnerungsbasierten Rekonstruktionen seines Teams sind nicht als Tatsachendokumente zu verstehen, sagt er.

Das sei ein weiterer Grund, sich an die weniger fotorealistischen Bilder zu halten, die von älteren Versionen generativer Bildmodelle erzeugt werden. „Es ist wichtig, ganz klar zu unterscheiden, was ein synthetisches Gedächtnis und was eine Fotografie ist“, sagt Garcia. „Das ist ein einfacher Weg, das zu zeigen.“

Doch Garcia befürchtet nun, dass die Unternehmen, die hinter den Modellen stehen, ihre früheren Versionen in den Ruhestand schicken könnten. Die meisten Benutzer freuen sich auf größere und bessere Modelle; für „Synthetic Memories“ kann weniger aber mehr sein. „Ich habe wirklich Angst, dass OpenAI Dall-E 2 schließen wird und wir Dall-E 3 verwenden müssen“, sagt er.