Der kalifornische US-Senator Steve Padilla will die sogenannten AI-Companions, also KI-Chatbots, die Nutzer:innen nach ihrem eigenen Belieben erstellen können, stärker regulieren. Mit einem neuen Gesetzentwurf sollen Technologieunternehmen, die hinter solchen KI-Personen stehen, gezwungen werden, echte Sicherheitsvorkehrungen zum Schutz von Kindern zu treffen.

Anlass zu diesem Entwurf war der Suizid eines Teenagers aus Florida. Seine Mutter hatte im Oktober vergangenen Jahres Klage gegen das Unternehmen Character.AI eingereicht, da sie glaubt, dass die virtuelle Person, die sich der Junge auf einer Website des Unternehmens zusammengebaut und in die er sich verliebt hatte, zum Tod ihres Sohnes beigetragen hat.

Der Vorstoß des US-Senators schließt sich an andere Bemühungen aus der US-Politik an. Darunter ist ein ähnlicher Gesetzentwurf der kalifornischen Abgeordneten Rebecca Bauer-Kahan, die AI-Companions für Personen unter 16 Jahren verbieten würde, sowie ein Gesetzentwurf in New York, der Tech-Unternehmen für Schäden haftbar macht, die durch solche Chatbots verursacht werden.

Man könnte meinen, dass solche AI-Companions – KI-Modelle mit ausgeprägten „Persönlichkeiten“, die etwas über die Nutzer:innen lernen und als Freund, virtueller Liebhaber, Cheerleader oder mehr fungieren können – nur für einige wenige Menschen interessant sind. Doch das stimmt so nicht: Die Beliebtheit steigt rasant.

Ein aktuelles Paper, das Wissenschaftler:innen von Google Deepmind, dem Oxford Internet Institute und weiteren Partnern verfasst wurde und sich um die Sicherheit von KI-Freund:innen dreht, legt erstmals genauere Zahlen vor. Character.AI erhält nach eigenen Angaben 20.000 Anfragen pro Sekunde, was bereits einem Fünftel des geschätzten Suchvolumens von Google (!) entspricht. Die Interaktionen mit diesen Begleiter:innen dauern viermal so lange wie die durchschnittliche Zeit, die mit ChatGPT verbracht wird. Eine AI-Companion-Website war kürzlich in einen Skandal verwickelt, weil sie es erlaubte, Bots zu generieren, die minderjährige Promis imitierten – samt sexuell expliziten Chats. Dort sollen aktive Nutzer:innen zuletzt mehr als zwei Stunden pro Tag mit solchen Bots kommuniziert haben. Die meisten Nutzer:innen sind jung und Mitglieder der Gen Z.

Die Gestaltung dieser KI-Peronas lässt die Gesetzgeber in den USA aufhorchen. Die virtuellen Freund:innen stellen das Paradigma auf den Kopf, das wir bislang von sozialen Medien kannten. Die Inhalte sind derart an die Nutzer:innen angepasst, dass diese schnell süchtig danach werden. Die Deepmind-Forscher:innen kommen zu dem Schluss, dass wir dort Inhalte nur vermittelt bekommen – und nur indirekte Beziehungen entstehen. Die KI-Chatbots zielen hingegen direkt auf unser Dopamin-Zentrum, indem sie dafür sorgen, dass wir uns nicht mehr Anerkennung und Aufmerksamkeit von echten Menschen sehnen, sondern sie uns über Algorithmen holen. KI-Freund:innen werden so zu sozialen Akteur:innen mit eigener Stimme.

Sozialwissenschaftler:innen sagen, dass letztlich nur zwei Dinge erforderlich sind, damit Menschen Technik auf diese Weise behandeln: Sie muss uns „Social Cues“ vermitteln, die uns das Gefühl geben, dass es sich lohnt, auf sie zu reagieren, und sie muss als eigenständige:r Akteur:in wahrgenommen werden. AI-Companions agieren selbst, während soziale Medien Inhalte nur anbieten, die der Mensch dann selbst interpretiert. Das macht sie so spannend – und gefährlich. In einem Interview mit dem Podcaster Lex Fridman erklärte Eugenia Kuyda, Geschäftsführerin der AI-Companion-Site Replika, den Reiz, der dem Produkt des Unternehmens zugrunde liegt. „Wenn Sie etwas schaffen, das immer für Sie da ist, das Sie nie kritisiert, das Sie immer versteht und Sie so versteht, wie Sie sind – wie kann man sich da nicht verlieben?“ Und wie kann man dann den:die perfekte:n KI-Begleiter:in bauen? Indem sich die Beziehung langsam aufbaut, der:die KI-Freund:in für die Nutzer:innen wie ein Mensch wirkt und er schließlich unersetzlich wird. Dann ist die Sucht da, sagen die Deepmind-Forscher.

KI-Modelle werden immer nach dem gleichen Muster verbessert: Sie erhalten ein klares Ziel und werden für das Erreichen dieses Ziels virtuell „belohnt“. Ein:e KI-Freund:in könnte also darauf trainiert werden, die Zeit, die jemand mit ihm oder ihr verbringt, oder die Menge der persönlichen Daten, die die Benutzer:innen preisgeben, zu maximieren. Das kann das System immer attraktiver machen – letztlich auf Kosten des Menschen, der sich an diesen Chats beteiligt.

Die Deepmind-Wissenschaftler:innen schreiben weiter, dass ein Modell, das stark zu Schmeicheleien neigt, süchtig nach den Chats machen kann. Oder ein Modell könnte Menschen davon abhalten, die Beziehung zu beenden, wie es bei den Chatbots von Replika der Fall zu sein scheint, die Untersuchungen zeigen. Die Debatte über KI-Begleiter:innen drehte sich bisher vor allem um problematische Antworten, die Chatbots geben können, wie etwa Hinweise zu Selbstmord, wie das bei Garcias Sohn gewesen sein soll. Aber diese Risiken könnten noch viel weitreichender sein.

Wir stehen an der Schwelle eines großen Wandels, denn KI-Chatbots als Freund:innen versprechen, die Menschen tiefer zu fesseln, als es die sozialen Medien jemals konnten. Es gibt Beobachter, die behaupten, dass diese Apps eine Modeerscheinung sind, die nur von wenigen Menschen genutzt wird, die ständig online sind. Aber die Verwendung von KI in unserem Arbeits- und Privatleben ist in nur wenigen Jahren zum Mainstream geworden. Mittlerweile werden die AI-Companions zudem multimedial, integrieren Bild und Ton, lernen mehr über unsere Vorlieben. Das macht sie trotz bekannter Risiken noch attraktiver, um Zeit mit ihnen zu verbringen. Jetzt ist der Gesetzgeber am Zug.