Dass ChatGPT und Co. einflussreiche Tools sind, ist vielen bewusst. Forscher:innen rechnen damit, dass Sprachmodelle Entscheidungen in Zukunft so gut vorhersagen könnten, dass sie uns manipulieren können.

In der prognostizierten „Intention Economy“ (Absichtsökonomie) sagen KI-Modelle Entscheidungen frühzeitig voraus. Die sich daraus entwickelnden und beeinflussten Absichten werden dann in Echtzeit an Unternehmen verkauft, so die Forscher:innen der Universität Cambridge in ihrem Beitrag in Havard Data Science Review. Doch wie soll das funktionieren? Und welche Auswirkungen hätte eine Intention Economy auf uns?

Schon heute haben viele KI-Agenten, von Chatbots über digitalen Tutoren bis zu KI-Freund:innen, immer mehr Zugang zu einer Masse an zutiefst intimen und verhaltensbezogenen Daten. Denn statt wie bisher über die Aufmerksamkeit und User-Tracking stammen die Daten hier aus informellen Gesprächen.

Mit diesem Wissen könnten sich künstliche Intelligenzen an die Eigenarten ihres Gegenübers anpassen. Indem die Modelle Persönlichkeiten nachahmen und sich auf die gewünschte Reaktionen einstellen, bauen sie automatisch mehr Vertrauen zu den Nutzer:innen auf. Dadurch werde soziale Manipulationen im industriellen Maßstab ermöglicht, so die Forscher.

„Was Menschen in Gesprächen sagen, wie sie es sagen, und die Art der Rückschlüsse, die sich daraus in Echtzeit ziehen lassen, sind weitaus intimer als bloße Aufzeichnungen von Online-Interaktionen“, so der Gastdozent des Cambridge’s Leverhulme Zentrums für die Zukunft des Wissens (LCFI) Yaqub Chaudhary, der zusammen mit dem KI-Ethikprofessor Jonnie Penn an der Forschung gearbeitet hat.

In der Intention Economy, so die Forscher:innen, werden diese Rückschlüsse dann zu Verkaufszwecken genutzt, Sprachmodelle erfassen das Vokabular, das Alter, das Geschlecht, den Online-Verlauf und weitere Vorlieben von Nutzer:innen.

Die Forscher:innen veranschaulichen das am Beispiel eines Kino-Tickets. Eine KI könnte Filme abfragen, die die Person gesehen hat, und ermitteln, wie sie ihr gefallen haben. In den Vorschlägen zu ähnlichen Filmen könnte dann der Kinobesuch verkauft werden: „Sie haben erwähnt, dass Sie sich überarbeitet fühlen, soll ich Ihnen die Kinokarte buchen, über die wir gesprochen haben?“.

Dadurch könnten Plattformen, Werbetreibende, Unternehmen und sogar politische Organisationen die Gespräche mit den KI-Chatbots lenken und steuern. Und laut den Forschenden sind wir gar nicht so weit von einer Intention Economy entfernt.

Chaudhary und Penn argumentieren, dass die Intention Economy zwar noch nicht erreicht sei, aber ein Wunschtraum der Tech-Industrie sei. Anzeichen dafür sehen sie in veröffentlichter Forschung und den Andeutungen einiger Führungskräfte aus der Branche.

So rief Open AI 2023 in einem Blogpost dazu auf, Daten mit dem Unternehmen zu teilen, die „menschliche Absichten zum Ausdruck bringen (zum Beispiel längere Texte oder Gespräche anstelle von unzusammenhängenden Schnipseln), und zwar in allen Sprachen, Themen und Formaten“.

Im selben Jahr sprach der ehemalige Head of Product bei Shopify, Miqdad Jaffer, in einer Konferenz von Chatbots, die „explizit die Absichten des Nutzers erfassen“. Mittlerweile arbeitet Jaffer bei OpenAI.

Der CEO von Nvidia hat öffentlich über die Verwendung von LLMs gesprochen, um Absichten und Wünsche herauszufinden, während Meta im Jahr 2021 die „Intentonomy“-Forschung veröffentlichte, einen Datensatz, der dazu dienen soll, menschliche Absichten besser zu verstehen.

Wenn Regulierung ausbleibt, werde die Intention Economy aus Motivation die neue Währung machen. „Es wird ein Goldrausch für diejenigen sein, die menschliche Absichten anvisieren, lenken und verkaufen“, so Penn.

Die Forscher:innen sehen in der Intention Economy eine Gefahr. „Wir sollten damit beginnen, die wahrscheinlichen Auswirkungen eines solchen Marktes auf die menschlichen Bestrebungen, einschließlich freier und fairer Wahlen, einer freien Presse und eines fairen Marktwettbewerbs, zu bedenken, bevor wir Opfer seiner unbeabsichtigten Folgen werden“, so Penn.