Unterschätztes Risiko: Wie gefährlich es ist, wenn KI-Chatbots Gefühle vorspielen
Welche Gefahren gehen von KI aus? Oftmals werden hierbei Untergangsszenarien geschildert, etwa wenn eine Computerintelligenz eines Tages die Kontrolle über unsere Welt übernimmt, die wir überhaupt nicht mehr kontrollieren können. Abgesehen von solchen Albträumen gibt es aber auch kurzfristige Schäden, die wir ernst nehmen sollten: dass KI den öffentlichen Diskurs durch Fehlinformationen gefährdet, finanzielle Entscheidungen nur mit Bias fällt, Fehlurteile erlässt, uns in Echokammern einsperrt oder die Kreativwirtschaft zerstört.
Was bislang jedoch bei den wenigsten Menschen auf der KI-Angst-Agenda steht, sind Risiken, die sich aus einer ganz neuen soziologischen Entwicklung ergeben: jene, die durch Beziehungen zu nicht-menschlichen Agenten entstehen. Sogenannte AI-Companions sind keine Theorie mehr. Unsere Analyse von einer Million ChatGPT-Interaktionsprotokollen zeigt, dass die zweitbeliebteste Nutzung von KI sexuelle Rollenspiele sind, auch wenn Betreiber OpenAI versucht, sie zu zensieren. Das heißt: Wir haben bereits damit begonnen, KIs als virtuelle Freunde, Mentoren, Therapeuten, Lehrer und sogar Liebhaber in unser Leben einzuladen.
AI-Companions machen süchtig
Und es scheint auf den ersten Blick auch einfacher zu sein, sich mit einem KI-Sprachmodell einer verstorbenen Person zu beschäftigen, anstatt sich mit echter Trauer und anderen Menschen auseinanderzusetzen. Replika, einer der großen im Markt der AI-Companions, entstand ursprunglich aus dem Versuch, einen verstorbenen besten Freund wiederzubeleben. Mittlerweile hat die Firma Millionen Nutzer. Selbst die Technikchefin von OpenAI hat bereits davor gewarnt, dass solche KI-Systeme das Potenzial haben, „extrem süchtig“ zu machen.
Wir erleben dabei, wie sich ein gigantisches Experiment in der realen Welt entfaltet, und es ist ungewiss, welche Auswirkungen diese KI-Begleiter auf uns selbst oder auf die Gesellschaft als Ganzes haben werden. Wird die Großmutter ihre letzten Tage in Einsamkeit vielleicht damit verbringen, mit dem digitalen Doppelgänger ihres Enkels zu chatten, während ihr echter Angehöriger selbst von einer Simulation erzogen wird? Die heutigen KI-Systeme verfügen längst über den kollektiven Charme der gesamten menschlichen Geschichte und Kultur, was zu einer unendlich verführerischen Mimikry führt. Diese Systeme sind gleichzeitig überlegen und ihrem Nutzer gegenüber unterwürfig, eine neue Form der digitalen Anziehungskraft. Wie soll man dazu noch „nein“ sagen? Aber können wir angesichts dieses Machtungleichgewichts willentlich in eine Beziehung zu einem AI-Companion einwilligen, wo viele von uns gar keine echten Alternativen mehr zu haben scheinen?
Neuartige Forschung gefordert
Als KI-Forscher, die eng mit politischen Entscheidungsträgern zusammenarbeiten, sind wir erstaunt über das mangelnde Interesse des Gesetzgebers an möglichen Schäden, die sich aus einer solchen Zukunft ergeben. Wir sind nicht darauf vorbereitet, auf diese Gefahren zu reagieren, weil wir sie nicht einmal vollständig verstehen. Was wir bräuchten, ist neuartige Forschung an der Schnittstelle von Technologie, Psychologie und Recht – und daraus ergeben sich vielleicht neue Ansätze zur Regulierung von künstlicher Intelligenz.
So süchtig machend Plattformen, die von Empfehlungssystemen angetrieben werden, heute auch erscheinen mögen – TikTok und seine Konkurrenten werden meist noch von Menschen bestückt. Auch wenn in der Vergangenheit bereits vor einer „Sucht“ nach Romanen (das gab es wirklich), Fernsehen, Internet, Smartphones und Social Media gewarnt wurde, sind all diese Medienformen in ähnlicher Weise durch die menschliche Produktionskapazität begrenzt. Generative KI ist anders. Sie kann unendlich viele realistisch klingende Inhalte generieren, die genau auf die Vorlieben der Person zugeschnitten sind, mit der sie interagiert.
„Digitale Bindungsstörung“
Der Reiz der KI liegt in ihrer Fähigkeit, unsere Wünsche zu erkennen und sie uns zu erfüllen, wann und wie wir wollen. Die Technik hat keine eigenen Vorlieben oder eine eigene Persönlichkeit, sondern spiegelt das wider, was die Nutzer von ihr erwarten – ein Phänomen, das von Forschern als „Sycophancy in Language Models“ (etwa: Kriecherei von Sprachmodellen) bezeichnet wird. Unsere eigene Forschung hat gezeigt, dass diejenigen, die glauben oder sich wünschen, dass eine KI fürsorgliche Motive hat, eine Sprache verwenden, die genau dieses Verhalten hervorruft. Eine selbsterfüllende Prophezeiung.
So entsteht eine Echokammer der virtuellen Zuneigung, die extrem süchtig machen kann. Warum sollten wir uns auf das Geben und Nehmen mit einer anderen Person einlassen, wenn wir einfach nehmen können? Wiederholte Interaktionen mit solchen Systemen können letztlich unsere Empathie und damit den Teil von uns verkümmern lassen, der in der Lage ist, sich uneingeschränkt auf andere Menschen einzulassen, die eigene Wünsche und Träume haben. Es ergibt sich eine Art „digitale Bindungsstörung“.
Was ist der Reiz?
Um den Schaden, den AI-Companions anrichten könnten, abzuwehren, ist ein gründliches Verständnis der wirtschaftlichen und psychologischen Triebfedern erforderlich, die ihre Entwicklung dominieren. Solange wir diese Kräfte einer neuen KI-Sucht nicht kennen, wird es uns unmöglich sein, wirksame Strategien zu entwickeln.
Es ist kein Zufall, dass Internetplattformen süchtig machen. Bewusst getroffene Designentscheidungen, die als „Dark Pattern“ bekannt sind, werden von Entwicklern getroffen, um das Engagement der Nutzer zu maximieren. Wir gehen davon aus, dass ähnliche Anreize letztlich zu AI-Companions führen werden, die letztlich „Hedonismus als Dienstleistung“ anbieten. Dies wirft zwei verschiedene Fragen in Bezug auf KI auf. Welche Design-Entscheidungen werden getroffen, um KI-Begleiter ansprechend und letztlich süchtig machend zu gestalten? Und wie werden sich diese süchtig machenden Systeme auf die Menschen auswirken, die sie benutzen?
Ähnlich wie „Dark Patterns“
Um diese psychologische Dimension der KI zu verstehen, sind interdisziplinäre Studien erforderlich, die auf der Erforschung von Dark Pattern in sozialen Medien aufbauen. So zeigen unsere Arbeiten bereits, dass Menschen eher bereit sind, sich auf KI einzulassen, die Menschen nachahmt, die sie bewundern, selbst wenn sie wissen, dass das System nicht echt ist. Sobald wir die psychologischen Dimensionen von AI-Companions verstehen, können wir wirksame Maßnahmen entwickeln. Es hat sich gezeigt, dass Fehlinformationen reduziert werden können, wenn der Fokus der Menschen darauf gelenkt wird, selbst den Wahrheitsgehalt zu bewerten, bevor sie Inhalte online teilen. Schlimme Bilder auf Zigarettenpackungen werden bereits verwendet, um potenzielle Raucher abzuschrecken. Ähnliche Designansätze könnten die Gefahren der KI-Sucht aufzeigen und KI-Systeme als Ersatz für menschliche Gesellschaft weniger attraktiv machen.
Das Bedürfnis, geliebt und unterhalten zu werden, lässt sich kaum ausschalten, aber vielleicht können wir die wirtschaftlichen Anreize von Firmen verändern, die solche Systeme anbieten. Eine Steuer auf die Nutzung von AI-Companions könnte die Menschen beispielsweise zu Interaktionen höheren Maßstabs bewegen und eine sicherere Art der Nutzung von Plattformen fördern. Aber klappt das auch durchgehend? Die positive Seite: Ähnlich wie staatliche Lotterien zur Finanzierung von Bildung eingesetzt wurden, könnte eine AI-Companion-Steuer Aktivitäten finanzieren, die menschliche Bindungen fördern, vom Kunstzentrum bis zum Park.
Neue Überlegungen zur Regulierung erforderlich
1992 wies Sherry Turkle, eine Psychologin, die Pionierarbeit bei der Erforschung der Interaktionen zwischen Mensch und Maschine geleistet hat, auf die Gefahren hin, die technische Systeme für menschliche Beziehungen darstellen. Eine der zentralen Fragen, die sich aus der Arbeit von Turkle ergeben, ist schlicht: Haben wir nicht einfach verdient, das so haben, was wir wollen, wenn der Computer es uns gibt?
Aus guten Gründen tut sich unsere liberale Gesellschaft schwer damit, die hier beschriebenen Arten von Risiken einzuschränken. Genauso wenig wie der Staat sich in Ehebruch einmischt, geht ihn auch nichts an, wen – oder hier: was – wir lieben wollen. Es sei denn, es geht um explizit verbotene Dinge wie Missbrauchsmaterial, wo klare Grenzen gesetzt werden, selbst in einer Gesellschaft, die Redefreiheit und persönliche Freiheit schätzt. Die Schwierigkeit der Regulierung von AI-Companions könnte nun aber neue Regulierungsansätze erfordern, die auf einem tieferen Verständnis der Anreize beruhen, die diesen Systemen zugrunde liegen – und die sich die neuen Technologien zunutze machen.
Einer der wirksamsten Regulierungsansätze besteht darin, Sicherheitsvorkehrungen direkt in das technische Design zu integrieren, ähnlich wie Designer Erstickungsgefahren verhindern, indem sie Kinderspielzeug größer als den Mund eines Säuglings machen. Dieser Ansatz der „Regulierung durch Produktgestaltung“ könnte darauf abzielen, die Interaktion mit KI weniger schädlich zu machen, indem die Technologie so gestaltet wird, dass sie als Ersatz für menschliche Beziehungen weniger taugt, aber in anderen Kontexten dennoch nützlich bleibt. Dazu könnte neue Forschung erforderlich sein, um bessere Möglichkeiten zu finden, das Verhalten großer KI-Modelle einzuschränken.
So bezieht sich beispielsweise „Alignment Tuning“ auf eine Reihe von Trainingstechniken, die darauf abzielen, KI-Modelle mit menschlichen Präferenzen in Einklang zu bringen; dies könnte erweitert werden, um ihr Suchtpotenzial zu reduzieren. In ähnlicher Weise zielt die sogenannte Mechanistic Interpretability darauf ab, die Art und Weise, wie KI-Modelle Entscheidungen treffen, via Reverse Engineering abzubilden. Damit ließen sich dann bestimmte Teile eines KI-Systems identifizieren und schließlich eliminieren, die zu schädlichem Verhalten führen.
Reaktion auf Verhaltensmuster
Wir können die Leistung von KI-Systemen mithilfe interaktiver und von Menschen gesteuerter Verfahren bewerten lassen, die über ein statisches Benchmarking hinausgehen und damit süchtig machende Fähigkeiten von Sprachmodellen aufzeigen. Der Suchtcharakter von KI ist das Ergebnis komplexer Interaktionen zwischen Technologie und Nutzer. Das Testen von Modellen unter realen Bedingungen mit Benutzereingaben kann Verhaltensmuster aufdecken, die sonst unbemerkt bleiben würden. Forscher und politische Entscheidungsträger sollten hier unbedingt zusammenarbeiten, um Standardverfahren für das Testen von KI-Modellen mit verschiedenen Gruppen – einschließlich speziell gefährdeter Bevölkerungsteile –, festzulegen, um sicherzustellen, dass die Modelle die psychologischen Schwächen der Menschen nicht ausnutzen.
Anders als wir können sich KI-Systeme schnell und leicht an sich ändernde Regeln anpassen. Was wir brauchen, ist ein System der Regulierung, das schnell und dynamisch agiert. Es ist wie bei Aktienhandel, den die Marktaufsicht anhalten kann, wenn ein Crash droht. Im Fall von KI könnte sogar auf den mentalen Zustand des Nutzers reagiert werden und das System dann abbrechen.
Dabei ist vieles denkbar. Eine dynamische Regulierung könnte es beispielsweise ermöglichen, dass ein AI-Companion im Laufe der Zeit zwar immer einnehmender, charmanter oder „more flirty“ wird, das aber nur so lange tut, bis es Anzeichen von sozialer Isolation gibt. Nutzer behielten das Steuer, die Suchtgefahr wäre verringert. Ein solches System setzt jedoch die Fähigkeit voraus, das Verhalten und den mentalen Zustand eines Nutzers genau zu verstehen und diese Eigenschaften auf eine Weise zu messen, die die Privatsphäre schützt. Auch das ist ein Forschungsgegenstand.
Die wirksamste Lösung für diese Probleme würde wahrscheinlich bei dem ansetzen, was Menschen in die Arme von KI-Begleitern treibt – Einsamkeit und Langeweile, die sie anfällig für Suchtverhalten machen. Regulatorische Eingriffe könnten aber auch unbeabsichtigt diejenigen bestrafen, die solche Systeme wirklich brauchen. Anbieter könnten zudem damit beginnen, ihren Geschäftssitz zu verlagern, um nicht mehr unter Regulierung zu fallen.
Das Gesamtbild: Duster
Technische Entwicklungen werden oft von dem Wunsch getrieben, über den Horizonte hinauszublicken, den andere noch gar nicht erfassen. Menschen wollen an der Spitze eines revolutionären Wandels stehen. Die hier erörterten Themen machen jedoch deutlich, dass die Schwierigkeit, technische Systeme zu entwickeln, im Vergleich zu der Herausforderung, gesunde menschliche Interaktionen zu pflegen, verblasst.
Das aktuelle Thema AI-Companions ist nur ein Symptom für ein größeres Problem: die Wahrung der Menschenwürde angesichts des technologischen Fortschritts, der durch wirtschaftliche Anreize getrieben wird. Immer häufiger werden wir Zeuge von Situationen, in denen Technik, die die Welt verbessern soll, der Gesellschaft Schaden zufügt. Überlegtes, aber entschlossenes Handeln ist notwendig. Sonst wird KI zu einer allgegenwärtigen generativen rosaroten Brille für unsere Realität. Dann verlieren wir unsere Fähigkeit, die Welt so zu sehen, wie sie wirklich ist, und zu erkennen, wenn wir vom Weg abgekommen sind.
Technologie ist zu einem Synonym für Fortschritt geworden. Aber eine Technologie, die uns der Zeit, der Eigenintelligenz und der Konzentration beraubt, die wir für tiefes Nachdenken brauchen, ist ein Rückschritt für die Menschheit. Als Wissenschaftler und Entwickler von KI-Systemen rufen wir die Community, politische Entscheidungsträger, Ethiker und Vordenker aller Disziplinen auf, gemeinsam mit uns mehr darüber zu lernen, wie KI uns individuell und kollektiv beeinflusst.
Nur wenn wir unser Verständnis von Menschlichkeit im KI-Zeitalter systematisch erneuern, können wir Wege finden, um sicherzustellen, dass die von uns entwickelten Verfahren das menschliche Wohlergehen wirklich fördern.
Pataranutaporn ist Forscher am MIT Media Lab. Seine Arbeit konzentriert sich auf Cyborg-Psychologie und die Kunst und Wissenschaft innerhalb der Mensch-KI-Interaktion.
Ein großartiger Appell und Beitrag der beiden Autoren, danke!
Eigentlich sollten die genannten Überlegungen jeden überzeugen können, der nicht selbst an einer gezielten Nutzung zur Schädigung anderer Menschen bzw an finanziellem Gewinn aus der Vermarktung solch potentiell schädlicher Software interessiert ist.
Schon jetzt untergraben Finanz- und Machtinteressen der Digital-Konzernen mit ihren Manipulations- und Durchleuchtungsmöglichkeiten eigentlich ständig die Voraussetzungen, die für eine Gesellschaft von freien, mündigen und selbstbestimmten Bürger und Bürgerinnen notwendig sind.
Meines Erachtens müsste dieses Missverhältnis schnell zurückgedreht werden, stattdessen erhalten die Techkonzerne mit K.I. ganz neue Möglichkeiten, ihre Interessen und die zunehmende Abhängigkeit der Mehrheit nach Gutdünken und massenhaft durchzusetzen. Schon dass die Entwicklung der aktuellen K.I.-Services letztlich nur möglich war, indem die Konzerne menschgemachtes Material eklatant gegen jede Idee von geistigem Eigentum und/oder kulturellem Erbe verstoßend einfach ungefragt und ohne jede Genehmigung oder auch nur Benachrichtigung ihrer Urheber und Verlage so selbstherrlich wie dreist nutzten, zeigt, in welch fataler Richtung diese Entwicklung bereits geht: Konzerninteressen haben freie Fahrt, die Bürgerrechte und Interessen der Normalbevölkerung können mittels geheim gehaltener Algorythmen mehr oder minder umgangen werden.
Spätestens jetzt müsste die Politik also endlich mal konsequent die Rechte und Interessen ihrer jeweiligen Bevölkerung gegen die Konzerne durchsetzen, wenn die Rede vom „demokratischen Rechtsstaat“ und „mündigen Bürger“ nicht in Zukunft zur leeren Floskel und bloßen Farce verkommen soll…