Anzeige
Anzeige
MIT Technology Review Kommentar

Unterschätztes Risiko: Wie gefährlich es ist, wenn KI-Chatbots Gefühle vorspielen

Dem Reiz sogenannter AI-Companions widerstehen besonders einsame Menschen nur schwer. Regulierung könnte helfen, die Technik zu beherrschen, bevor sie zum echten Problem wird, schreiben drei Forscher.

Von MIT Technology Review Online
9 Min.
Artikel merken
Anzeige
Anzeige

Ängstlicher Roboter: Der ideale "Companion" aus KI? (Bild: Midjourney / t3n)

Welche Gefahren gehen von KI aus? Oftmals werden hierbei Untergangsszenarien geschildert, etwa wenn eine Computerintelligenz eines Tages die Kontrolle über unsere Welt übernimmt, die wir überhaupt nicht mehr kontrollieren können. Abgesehen von solchen Albträumen gibt es aber auch kurzfristige Schäden, die wir ernst nehmen sollten: dass KI den öffentlichen Diskurs durch Fehlinformationen gefährdet, finanzielle Entscheidungen nur mit Bias fällt, Fehlurteile erlässt, uns in Echokammern einsperrt oder die Kreativwirtschaft zerstört.

Anzeige
Anzeige

Was bislang jedoch bei den wenigsten Menschen auf der KI-Angst-Agenda steht, sind Risiken, die sich aus einer ganz neuen soziologischen Entwicklung ergeben: jene, die durch Beziehungen zu nicht-menschlichen Agenten entstehen. Sogenannte AI-Companions sind keine Theorie mehr. Unsere Analyse von einer Million ChatGPT-Interaktionsprotokollen zeigt, dass die zweitbeliebteste Nutzung von KI sexuelle Rollenspiele sind, auch wenn Betreiber OpenAI versucht, sie zu zensieren. Das heißt: Wir haben bereits damit begonnen, KIs als virtuelle Freunde, Mentoren, Therapeuten, Lehrer und sogar Liebhaber in unser Leben einzuladen.

AI-Companions machen süchtig

Und es scheint auf den ersten Blick auch einfacher zu sein, sich mit einem KI-Sprachmodell einer verstorbenen Person zu beschäftigen, anstatt sich mit echter Trauer und anderen Menschen auseinanderzusetzen. Replika, einer der großen im Markt der AI-Companions, entstand ursprunglich aus dem Versuch, einen verstorbenen besten Freund wiederzubeleben. Mittlerweile hat die Firma Millionen Nutzer. Selbst die Technikchefin von OpenAI hat bereits davor gewarnt, dass solche KI-Systeme das Potenzial haben, „extrem süchtig“ zu machen.

Anzeige
Anzeige

Wir erleben dabei, wie sich ein gigantisches Experiment in der realen Welt entfaltet, und es ist ungewiss, welche Auswirkungen diese KI-Begleiter auf uns selbst oder auf die Gesellschaft als Ganzes haben werden. Wird die Großmutter ihre letzten Tage in Einsamkeit vielleicht damit verbringen, mit dem digitalen Doppelgänger ihres Enkels zu chatten, während ihr echter Angehöriger selbst von einer Simulation erzogen wird? Die heutigen KI-Systeme verfügen längst über den kollektiven Charme der gesamten menschlichen Geschichte und Kultur, was zu einer unendlich verführerischen Mimikry führt. Diese Systeme sind gleichzeitig überlegen und ihrem Nutzer gegenüber unterwürfig, eine neue Form der digitalen Anziehungskraft. Wie soll man dazu noch „nein“ sagen? Aber können wir angesichts dieses Machtungleichgewichts willentlich in eine Beziehung zu einem AI-Companion einwilligen, wo viele von uns gar keine echten Alternativen mehr zu haben scheinen?

Neuartige Forschung gefordert

Als KI-Forscher, die eng mit politischen Entscheidungsträgern zusammenarbeiten, sind wir erstaunt über das mangelnde Interesse des Gesetzgebers an möglichen Schäden, die sich aus einer solchen Zukunft ergeben. Wir sind nicht darauf vorbereitet, auf diese Gefahren zu reagieren, weil wir sie nicht einmal vollständig verstehen. Was wir bräuchten, ist neuartige Forschung an der Schnittstelle von Technologie, Psychologie und Recht – und daraus ergeben sich vielleicht neue Ansätze zur Regulierung von künstlicher Intelligenz.

Anzeige
Anzeige

So süchtig machend Plattformen, die von Empfehlungssystemen angetrieben werden, heute auch erscheinen mögen – TikTok und seine Konkurrenten werden meist noch von Menschen bestückt. Auch wenn in der Vergangenheit bereits vor einer „Sucht“ nach Romanen (das gab es wirklich), Fernsehen, Internet, Smartphones und Social Media gewarnt wurde, sind all diese Medienformen in ähnlicher Weise durch die menschliche Produktionskapazität begrenzt. Generative KI ist anders. Sie kann unendlich viele realistisch klingende Inhalte generieren, die genau auf die Vorlieben der Person zugeschnitten sind, mit der sie interagiert.

„Digitale Bindungsstörung“

Der Reiz der KI liegt in ihrer Fähigkeit, unsere Wünsche zu erkennen und sie uns zu erfüllen, wann und wie wir wollen. Die Technik hat keine eigenen Vorlieben oder eine eigene Persönlichkeit, sondern spiegelt das wider, was die Nutzer von ihr erwarten – ein Phänomen, das von Forschern als „Sycophancy in Language Models“ (etwa: Kriecherei von Sprachmodellen) bezeichnet wird. Unsere eigene Forschung hat gezeigt, dass diejenigen, die glauben oder sich wünschen, dass eine KI fürsorgliche Motive hat, eine Sprache verwenden, die genau dieses Verhalten hervorruft. Eine selbsterfüllende Prophezeiung.

Anzeige
Anzeige

So entsteht eine Echokammer der virtuellen Zuneigung, die extrem süchtig machen kann. Warum sollten wir uns auf das Geben und Nehmen mit einer anderen Person einlassen, wenn wir einfach nehmen können? Wiederholte Interaktionen mit solchen Systemen können letztlich unsere Empathie und damit den Teil von uns verkümmern lassen, der in der Lage ist, sich uneingeschränkt auf andere Menschen einzulassen, die eigene Wünsche und Träume haben. Es ergibt sich eine Art „digitale Bindungsstörung“.

Was ist der Reiz?

Um den Schaden, den AI-Companions anrichten könnten, abzuwehren, ist ein gründliches Verständnis der wirtschaftlichen und psychologischen Triebfedern erforderlich, die ihre Entwicklung dominieren. Solange wir diese Kräfte einer neuen KI-Sucht nicht kennen, wird es uns unmöglich sein, wirksame Strategien zu entwickeln.

Es ist kein Zufall, dass Internetplattformen süchtig machen. Bewusst getroffene Designentscheidungen, die als „Dark Pattern“ bekannt sind, werden von Entwicklern getroffen, um das Engagement der Nutzer zu maximieren. Wir gehen davon aus, dass ähnliche Anreize letztlich zu AI-Companions führen werden, die letztlich „Hedonismus als Dienstleistung“ anbieten. Dies wirft zwei verschiedene Fragen in Bezug auf KI auf. Welche Design-Entscheidungen werden getroffen, um KI-Begleiter ansprechend und letztlich süchtig machend zu gestalten? Und wie werden sich diese süchtig machenden Systeme auf die Menschen auswirken, die sie benutzen?

Anzeige
Anzeige

Ähnlich wie „Dark Patterns“

Um diese psychologische Dimension der KI zu verstehen, sind interdisziplinäre Studien erforderlich, die auf der Erforschung von Dark Pattern in sozialen Medien aufbauen. So zeigen unsere Arbeiten bereits, dass Menschen eher bereit sind, sich auf KI einzulassen, die Menschen nachahmt, die sie bewundern, selbst wenn sie wissen, dass das System nicht echt ist. Sobald wir die psychologischen Dimensionen von AI-Companions verstehen, können wir wirksame Maßnahmen entwickeln. Es hat sich gezeigt, dass Fehlinformationen reduziert werden können, wenn der Fokus der Menschen darauf gelenkt wird, selbst den Wahrheitsgehalt zu bewerten, bevor sie Inhalte online teilen. Schlimme Bilder auf Zigarettenpackungen werden bereits verwendet, um potenzielle Raucher abzuschrecken. Ähnliche Designansätze könnten die Gefahren der KI-Sucht aufzeigen und KI-Systeme als Ersatz für menschliche Gesellschaft weniger attraktiv machen.

Das Bedürfnis, geliebt und unterhalten zu werden, lässt sich kaum ausschalten, aber vielleicht können wir die wirtschaftlichen Anreize von Firmen verändern, die solche Systeme anbieten. Eine Steuer auf die Nutzung von AI-Companions könnte die Menschen beispielsweise zu Interaktionen höheren Maßstabs bewegen und eine sicherere Art der Nutzung von Plattformen fördern. Aber klappt das auch durchgehend? Die positive Seite: Ähnlich wie staatliche Lotterien zur Finanzierung von Bildung eingesetzt wurden, könnte eine AI-Companion-Steuer Aktivitäten finanzieren, die menschliche Bindungen fördern, vom Kunstzentrum bis zum Park.

Neue Überlegungen zur Regulierung erforderlich

1992 wies Sherry Turkle, eine Psychologin, die Pionierarbeit bei der Erforschung der Interaktionen zwischen Mensch und Maschine geleistet hat, auf die Gefahren hin, die technische Systeme für menschliche Beziehungen darstellen. Eine der zentralen Fragen, die sich aus der Arbeit von Turkle ergeben, ist schlicht: Haben wir nicht einfach verdient, das so haben, was wir wollen, wenn der Computer es uns gibt?

Anzeige
Anzeige

Aus guten Gründen tut sich unsere liberale Gesellschaft schwer damit, die hier beschriebenen Arten von Risiken einzuschränken. Genauso wenig wie der Staat sich in Ehebruch einmischt, geht ihn auch nichts an, wen – oder hier: was – wir lieben wollen. Es sei denn, es geht um explizit verbotene Dinge wie Missbrauchsmaterial, wo klare Grenzen gesetzt werden, selbst in einer Gesellschaft, die Redefreiheit und persönliche Freiheit schätzt. Die Schwierigkeit der Regulierung von AI-Companions könnte nun aber neue Regulierungsansätze erfordern, die auf einem tieferen Verständnis der Anreize beruhen, die diesen Systemen zugrunde liegen – und die sich die neuen Technologien zunutze machen.

Einer der wirksamsten Regulierungsansätze besteht darin, Sicherheitsvorkehrungen direkt in das technische Design zu integrieren, ähnlich wie Designer Erstickungsgefahren verhindern, indem sie Kinderspielzeug größer als den Mund eines Säuglings machen. Dieser Ansatz der „Regulierung durch Produktgestaltung“ könnte darauf abzielen, die Interaktion mit KI weniger schädlich zu machen, indem die Technologie so gestaltet wird, dass sie als Ersatz für menschliche Beziehungen weniger taugt, aber in anderen Kontexten dennoch nützlich bleibt. Dazu könnte neue Forschung erforderlich sein, um bessere Möglichkeiten zu finden, das Verhalten großer KI-Modelle einzuschränken.

So bezieht sich beispielsweise „Alignment Tuning“ auf eine Reihe von Trainingstechniken, die darauf abzielen, KI-Modelle mit menschlichen Präferenzen in Einklang zu bringen; dies könnte erweitert werden, um ihr Suchtpotenzial zu reduzieren. In ähnlicher Weise zielt die sogenannte Mechanistic Interpretability darauf ab, die Art und Weise, wie KI-Modelle Entscheidungen treffen, via Reverse Engineering abzubilden. Damit ließen sich dann bestimmte Teile eines KI-Systems  identifizieren und schließlich eliminieren, die zu schädlichem Verhalten führen.

Anzeige
Anzeige

Reaktion auf Verhaltensmuster

Wir können die Leistung von KI-Systemen mithilfe interaktiver und von Menschen gesteuerter Verfahren bewerten lassen, die über ein statisches Benchmarking hinausgehen und damit süchtig machende Fähigkeiten von Sprachmodellen aufzeigen. Der Suchtcharakter von KI ist das Ergebnis komplexer Interaktionen zwischen Technologie und Nutzer. Das Testen von Modellen unter realen Bedingungen mit Benutzereingaben kann Verhaltensmuster aufdecken, die sonst unbemerkt bleiben würden. Forscher und politische Entscheidungsträger sollten hier unbedingt zusammenarbeiten, um Standardverfahren für das Testen von KI-Modellen mit verschiedenen Gruppen – einschließlich speziell gefährdeter Bevölkerungsteile –, festzulegen, um sicherzustellen, dass die Modelle die psychologischen Schwächen der Menschen nicht ausnutzen.

Anders als wir können sich KI-Systeme schnell und leicht an sich ändernde Regeln anpassen. Was wir brauchen, ist ein System der Regulierung, das schnell und dynamisch agiert. Es ist wie bei Aktienhandel, den die Marktaufsicht anhalten kann, wenn ein Crash droht. Im Fall von KI könnte sogar auf den mentalen Zustand des Nutzers reagiert werden und das System dann abbrechen.

Dabei ist vieles denkbar. Eine dynamische Regulierung könnte es beispielsweise ermöglichen, dass ein AI-Companion im Laufe der Zeit zwar immer einnehmender, charmanter oder „more flirty“ wird, das aber nur so lange tut, bis es Anzeichen von sozialer Isolation gibt. Nutzer behielten das Steuer, die Suchtgefahr wäre verringert. Ein solches System setzt jedoch die Fähigkeit voraus, das Verhalten und den mentalen Zustand eines Nutzers genau zu verstehen und diese Eigenschaften auf eine Weise zu messen, die die Privatsphäre schützt. Auch das ist ein Forschungsgegenstand.

Anzeige
Anzeige

Die wirksamste Lösung für diese Probleme würde wahrscheinlich bei dem ansetzen, was Menschen in die Arme von KI-Begleitern treibt – Einsamkeit und Langeweile, die sie anfällig für Suchtverhalten machen. Regulatorische Eingriffe könnten aber auch unbeabsichtigt diejenigen bestrafen, die solche Systeme wirklich brauchen. Anbieter könnten zudem damit beginnen, ihren Geschäftssitz zu verlagern, um nicht mehr unter Regulierung zu fallen.

Das Gesamtbild: Duster

Technische Entwicklungen werden oft von dem Wunsch getrieben, über den Horizonte hinauszublicken, den andere noch gar nicht erfassen. Menschen wollen an der Spitze eines revolutionären Wandels stehen. Die hier erörterten Themen machen jedoch deutlich, dass die Schwierigkeit, technische Systeme zu entwickeln, im Vergleich zu der Herausforderung, gesunde menschliche Interaktionen zu pflegen, verblasst.

Das aktuelle Thema AI-Companions ist nur ein Symptom für ein größeres Problem: die Wahrung der Menschenwürde angesichts des technologischen Fortschritts, der durch wirtschaftliche Anreize getrieben wird. Immer häufiger werden wir Zeuge von Situationen, in denen Technik, die die Welt verbessern soll, der Gesellschaft Schaden zufügt. Überlegtes, aber entschlossenes Handeln ist notwendig. Sonst wird KI zu einer allgegenwärtigen generativen rosaroten Brille für unsere Realität. Dann verlieren wir unsere Fähigkeit, die Welt so zu sehen, wie sie wirklich ist, und zu erkennen, wenn wir vom Weg abgekommen sind.

Anzeige
Anzeige

Technologie ist zu einem Synonym für Fortschritt geworden. Aber eine Technologie, die uns der Zeit, der Eigenintelligenz und der Konzentration beraubt, die wir für tiefes Nachdenken brauchen, ist ein Rückschritt für die Menschheit. Als Wissenschaftler und Entwickler von KI-Systemen rufen wir die Community, politische Entscheidungsträger, Ethiker und Vordenker aller Disziplinen auf, gemeinsam mit uns mehr darüber zu lernen, wie KI uns individuell und kollektiv beeinflusst.

Nur wenn wir unser Verständnis von Menschlichkeit im KI-Zeitalter systematisch erneuern, können wir Wege finden, um sicherzustellen, dass die von uns entwickelten Verfahren das menschliche Wohlergehen wirklich fördern.

Dieser Kommentar stammt von Robert Mahari und Pat Pataranutaporn. Mahari ist JD-PhD-Kandidat am MIT Media Lab und der Harvard Law School. Seine Arbeit konzentriert sich auf Computational Law – den Einsatz fortschrittlicher Computertechniken zur Analyse, Verbesserung und Erweiterung des Studiums und der Praxis des Rechts.
Pataranutaporn ist Forscher am MIT Media Lab. Seine Arbeit konzentriert sich auf Cyborg-Psychologie und die Kunst und Wissenschaft innerhalb der Mensch-KI-Interaktion.
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Kommentare (1)

Community-Richtlinien

Tarek Khoury

Ein großartiger Appell und Beitrag der beiden Autoren, danke!

Eigentlich sollten die genannten Überlegungen jeden überzeugen können, der nicht selbst an einer gezielten Nutzung zur Schädigung anderer Menschen bzw an finanziellem Gewinn aus der Vermarktung solch potentiell schädlicher Software interessiert ist.

Schon jetzt untergraben Finanz- und Machtinteressen der Digital-Konzernen mit ihren Manipulations- und Durchleuchtungsmöglichkeiten eigentlich ständig die Voraussetzungen, die für eine Gesellschaft von freien, mündigen und selbstbestimmten Bürger und Bürgerinnen notwendig sind.
Meines Erachtens müsste dieses Missverhältnis schnell zurückgedreht werden, stattdessen erhalten die Techkonzerne mit K.I. ganz neue Möglichkeiten, ihre Interessen und die zunehmende Abhängigkeit der Mehrheit nach Gutdünken und massenhaft durchzusetzen. Schon dass die Entwicklung der aktuellen K.I.-Services letztlich nur möglich war, indem die Konzerne menschgemachtes Material eklatant gegen jede Idee von geistigem Eigentum und/oder kulturellem Erbe verstoßend einfach ungefragt und ohne jede Genehmigung oder auch nur Benachrichtigung ihrer Urheber und Verlage so selbstherrlich wie dreist nutzten, zeigt, in welch fataler Richtung diese Entwicklung bereits geht: Konzerninteressen haben freie Fahrt, die Bürgerrechte und Interessen der Normalbevölkerung können mittels geheim gehaltener Algorythmen mehr oder minder umgangen werden.

Spätestens jetzt müsste die Politik also endlich mal konsequent die Rechte und Interessen ihrer jeweiligen Bevölkerung gegen die Konzerne durchsetzen, wenn die Rede vom „demokratischen Rechtsstaat“ und „mündigen Bürger“ nicht in Zukunft zur leeren Floskel und bloßen Farce verkommen soll…

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Kommentar abgeben

Melde dich an, um Kommentare schreiben und mit anderen Leser:innen und unseren Autor:innen diskutieren zu können.

Anmelden und kommentieren

Du hast noch keinen t3n-Account? Hier registrieren

Anzeige
Anzeige