t3n: Frau Zweig, haben Sie heute schon in irgendeiner Form generative KI genutzt?

Katharina Zweig: Heute noch nicht. Aber ich nutze im Alltag häufig Zapier. ­Damit kann man verschiedene API zusammenbasteln: Wenn ich ­morgens zur Uni fahre, nehme ich ein paar Minuten Sprachnachricht auf, schicke die Aufnahme an die Dropbox, Zapier schiebt dann die MP4 automatisch in das Transkriptionstool Whisper und schreibt das Ergebnis in meine Datenbank. Bis ich vom Parkhaus zu meinem Büro gelaufen bin, habe ich so schon drei geschriebene Seiten produziert. Das funktioniert unglaublich gut.

t3n: Sie haben gerade erst ein Buch zu KI veröffentlicht, und jetzt arbeiten Sie bereits am nächsten?

Ja, das Nächste wird, glaube ich, ziemlich philosophisch. Ich ­würde gerne besser verstehen, wie wir mithilfe von Mathematik die Welt beschreiben. Das ist natürlich eine ganz alte Fragestellung: Beschreiben wir die Welt, wenn wir Daten auswerten – oder konstruieren wir damit die Welt?

Dieser Artikel ist zuerst im t3n Magazin Nr. 74 erschienen, das sich im Schwerpunkt mit der Frage beschäftigt, wie nutzerfreundlich unsere Städte sind. Mehr zum Thema und dem Heft erfährst du hier.

t3n: Verstehen ist ein gutes Stichwort. In Ihrem aktuellen Buch betonen Sie, dass wir Menschen die Entscheidung von Maschinen nicht verstehen können. Warum sollen wir uns dann trotzdem damit auseinandersetzen?

Oftmals müssen wir nicht verstehen, warum eine KI eine ­Entscheidung fällt. Bei Amazon zum Beispiel fällt auch eine ­Software eine Entscheidung, welche Bücher mir angezeigt werden. Und wenn sie sich dabei irrt, kann ich einfach woanders hingehen – hier bin ich keinem Monopol ausgesetzt. Es ist etwas anderes, wenn ich einem Quasi-Monopol wie dem Staat ausgesetzt bin. Wann immer es darum geht, staatliches Handeln zu ­rechtfertigen, können wir keine Systeme verwenden, die uns prinzipiell keine Einsicht in ihre Entscheidungsberechnung geben können.

t3n: Ihr aktuelles Buch heißt „Die KI war’s! Von absurd bis ­tödlich: Die Tücken der künstlichen Intelligenz“. Auf meinem Presseexemplar war ein Aufkleber, auf dem stand: „So schützen Sie sich.“ Das klingt zusammen mit dem Titel schon sehr nach dem Narrativ der bösen KI.

Der Aufkleber wurde noch geändert zu „Was jetzt passieren muss“. So richtig selbst schützen können wir uns als Bürger und Bürgerinnen und Verbraucher und Verbraucherinnen nämlich nicht.

t3n: Also, was muss jetzt passieren?

Solange Leute uns KI-Systeme verkaufen und dabei mehr versprechen, als die Maschinen können, brauchen wir jemanden, der uns schützt. Und damit Regulierungen. Aber eigentlich ist das Buch durchaus positiv gemeint, denn ich finde, dass wir uns in Deutschland zu lange aufhalten bei den gruseligen KI-Geschichten und uns fragen, ob KI Richterinnen, Lehrer oder Menschen vom Sozialamt ersetzen kann, anstatt uns darüber Gedanken zu machen, wo Fehler tolerierbar sind und es unproblematisch ist, die Systeme einzusetzen – selbst wenn wir nicht vollständig verstehen, wie sie zu Entscheidungen kommen. Darüber würde ich gerne viel mehr sprechen. In Schulen gäbe es jetzt zum Beispiel so viele KI-Systeme, mit denen man Kindern den Unterricht erleichtern könnte.

t3n: Kann man es sich denn in der Bildung leisten, dass man nicht genau versteht, wie KI Entscheidungen trifft?

Bei Speech-to-Text oder Text-to-Speech und sprachlichen Übersetzungen können viele Menschen nachprüfen, ob das, was gehört, vertextet oder übersetzt wurde, korrekt ist. Damit sind die Systeme verlässlich nachprüfbar. Mit solchen Anwendungen, die bereits sehr gut funktionieren, können wir Kinder inkludieren, die blind oder gehörlos sind oder deren Muttersprache nicht Deutsch ist. Wenn es allerdings darum geht, ob die Maschine beurteilen kann, was das Kind kann und was nicht, dann halte ich das für schwierig.

t3n: Warum?

Weil man die Maschine nicht fragen kann: Warum glaubst du das jetzt? Wir wissen nicht, auf was die Gedanken beruhen, die sich ein System darüber macht, wie Kinder an Wissen gelangen und wie sich dieses Wissen messen lässt. Jegliche Werturteile darf und sollte die Maschine deshalb nicht durchführen können.

t3n: In Ihrem Buch stellen Sie einen Fragenkatalog vor, den man berücksichtigen sollte, bevor man überhaupt ein KI-System einsetzt. Darunter sind Fragen wie: „Handelt es sich um eine im Prinzip nachprüfbare ­Entscheidung?“, „Wie einfach ist die Überprüfung der Entscheidung für die betroffene Person?“ oder „Wie gut ist diese KI eigentlich?“ Wen wollen Sie damit erreichen? Die Software­entwickler:innen?

Ja, das würden wir uns natürlich wünschen. Ich habe aber mehr an diejenigen gedacht, die die Systeme einsetzen. Wir haben in einem Forschungsprojekt an der Uni gerade eine große Firma beraten. Die hatte ein KI-System gekauft, das Folgendes versprochen hat: Wir können aus dem Lebenslauf von Kandidaten automatisch das sogenannte Skill-Profil ableiten, also welche Fähigkeiten die Leute wirklich haben, und dann matchen wir die mit offenen Stellen mit einer Genauigkeit auf die zweite Nachkommastelle. Um das zu überprüfen, haben wir an der Uni den Lebenslauf einer Person hochgeladen, die seit 20 Jahren im Bereich Personalwesen unterwegs ist. Und die Maschine hat ihr Studierendenpraktika vorgeschlagen.

t3n: Warum das denn?

Weil die Person drei Studentenpraktika in ihrem Lebenslauf stehen hatte. Das System hat nicht mit einer menschlichen Einsichtsfähigkeit verstanden, was dieser Lebenslauf sagen will: dass da jemand seit 20 Jahren im HR-Bereich tätig ist. Es hat nur gezählt: Aha, gleich mehrere Studierendenpraktika, das scheint sehr wichtig gewesen zu sein! Das System wäre wohl ehrlicher als eine Ausfüllhilfe für Skill-Profile vermarktet worden. Auch beim Matching der Profile anhand sogenannter Worteinbettung gibt es viele Fallstricke: Die Profile von Mensch und Job werden dafür in hochdimensionale Räume projiziert und dann deren Dis­tanz gemessen. Das ist höchstens als grobe Einteilung sinnvoll.

„Auf einer Baustelle bezeichnet man auch nicht alles von der Zange bis zum Kran als künstliche Stärke.“

t3n: Was hat die Firma denn aus Ihrem Feedback gemacht?

Sie haben eingesehen, dass zu viel Genauigkeit suggeriert wurde. Wir haben vorgeschlagen, dass man die Bewerbungen in Drittel aufteilt: Gute Passung, wenig Passung, keine Passung. Das kann eine Maschine wahrscheinlich leisten und wäre beim Auswerten von Tausenden Bewerbungen auch schon sehr hilfreich. Niemand sollte darauf reinfallen, dass eine Maschine mit einer solchen Genauigkeit sagen kann, wer der beste Kandidat ist. Wir sehen häufig eine grundlegende Spannung zwischen dem, wie über KI gesprochen wird, und dem, was sie tut und wie das Ergebnis zu interpretieren ist.

t3n: Sie haben eine eigene KI-Beratungsfirma, Trusted AI, gegründet. Haben sich Ihre Anfragen verändert seit der Veröffentlichung von ChatGPT im November 2022?

Im Moment gibt es viel rechtliche Unsicherheit, weil die KI-­Verordnung noch nicht da ist. Wir wünschen uns, dass sie wirklich bis Ende des Jahres verabschiedet wird, damit man weiß, worauf man sich einstellen kann.

t3n: Wie bewerten Sie beim geplanten AI-Act die Einstufung in Risikoklassen gegenüber den Forderungen nach Selbst­regulierung?

Es gibt die Diskussion, ob man generative KI-Systeme wirklich nach der schlechtestmöglichen Anwendungen einsortieren sollte. Ich wäre dafür, jedes KI-System in seiner Anwendung zu betrachten. Und gerade bei generativen KI-Systemen gibt es eine ganze Reihe an Open-Source-Projekten, die man sonst wirklich kaputt machen würde, weil sie so viele Transparenzanforderungen erfüllen müssten. Aber auch andere Systeme sollten nach ihrer Anwendung bewertet werden: zum Beispiel ein System zur Vergabe von Weiterbildungen an Arbeitslose. Wenn es in einem sozialen Prozess verwendet wird, der die Diskriminierung des Arbeitsmarktes ausgleichen möchte, dann ist es sogar notwendig, dass das KI-System die Diskriminierung widerspiegelt, die es im Arbeitsmarkt gibt. Der Ausgleich wäre nicht möglich, wenn die Vorgabe wäre, dass die Systeme von vornherein diskriminierungsfrei sein müssen.

t3n: In Ihrem Buch schreiben Sie, Sie mögen die Ausdrücke „selbstlernend“ und „Künstliche Intelligenz“ nicht besonders. Warum ist Ihnen das wichtig?

Weil Sprache formt, wie wir über Dinge sprechen. Der Begriff KI ist einerseits irreführend, weil es die künstliche Intelligenz im Sinne einer Artificial General Intelligence heute nicht gibt. Und andererseits hat der Begriff zu viele Bedeutungen. Wenn man von KI redet, geht es um das Forschungsfeld der KI, die Methoden dieses Forschungsfelds und nicht zuletzt um die Software, die diese Methoden verwendet: von Text-to-Speech über Übersetzungen hin zu autonomem Fahren. Wir sollten aufhören, über „die KI“ zu reden, als wäre es ein einziges Ding: Auf einer Baustelle bezeichnet man auch nicht alles von der Zange über die Schubkarre bis zum Kran als künstliche Stärke. Es würde sehr viel helfen, wenn wir uns mehr über konkrete Anwendungen und konkrete Technologien unterhalten würden.

t3n: Sie sind auch der Meinung, dass wir das Verhalten von Maschinen genauso untersuchen sollten, wie wir das mit Tieren und Menschen tun. Computer-Behaviour-Studies sozusagen. Machen Sie das schon in Ihrem Studiengang Sozioinformatik oder wäre das eine Weiterentwicklung?

In der Sozioinformatik geht es um etwas anderes: nämlich um sogenannte emergente Phänomene. Die kommen dadurch zustande, dass Menschen und Software miteinander interagieren. Mein Lieblingsbeispiel dafür ist die Frage, wie sich mazedonische Jugendliche 2016 in den US-Präsidentschaftswahlkampf von ­Hillary Clinton und Donald Trump einmischen konnten.

t3n: Wie kam es denn dazu?

In diesem Sommer herrschte hohe Jugendarbeitslosigkeit in ­Mazedonien und die Jugendlichen haben gemerkt, dass sie sehr gut von den Facebook-Anzeigen leben können, wenn sie genügend Traffic auf ihre Websites bekommen. Wir sprechen hier von 8.000 bis 10.000 US-Dollar im Monat.

t3n: Und welche Folgen hatte das für den US-Wahlkampf?

Die Jugendlichen haben die auf obskuren Websites veröffentlichten, angeblichen Skandale von Trump und Clinton noch krasser zugespitzt und damit A/B-Tests gemacht. Sie wollten herausfinden, ob sie mehr Traffic bekommen, wenn sie gegen Clinton oder Trump schießen. Dabei hat sich herausgestellt, dass es gegen ­Clinton mehr bringt. Und das ist ein emergentes Phänomen, denn der Anzeigenverteilungsalgorithmus war prinzipiell politisch neutral. Die mazedonischen Jugendlichen hatten auch kein inhaltliches Interesse daran, einen der beiden Kandidaten zu unterstützen. Aber in der Wechselwirkung mit der US-Wählerschaft und deren Psychologie hat das dazu geführt, dass sich diese mazedonischen Jugendlichen auf die Seite von Trump geschlagen haben. Und genau solche Phänomene versuchen wir mit systemischen Analysen im Studiengang vorherzusehen und zu modellieren.

„Jegliche Werturteile darf und sollte die Maschine nicht durchführen können.“

t3n: Um was ginge es dann beim Studieren von Maschinenverhalten? Wäre das doch der Versuch, ein Verständnis für Maschinenentscheidung zu bekommen?

Ich weiß nicht, ob es um unser Verständnis des Verhaltens geht. Bei Delfinen wurde beispielsweise beobachtet, dass sie sich im Spiegel erkennen. Das ist dieses berühmte Experiment mit dem Fleck im Gesicht. Warum Delfine wissen, dass sie das im Spiegel sind, das wissen wir nicht. Wir können aber experimentell feststellen, dass einige Tiere sich selbst erkennen können und andere nicht. Ähnlich können wir nicht mehr aufgrund der verwendeten informatischen Methoden vorhersagen, was die Maschine können wird. Wir werden experimentieren müssen, was passiert, wenn wir sie auf die eine oder andere Weise trainieren und damit feststellen, welche Art von Verhalten die jeweilige Maschine zuverlässig zeigt.

t3n: Sie haben öffentlich gesagt, dass gerade für Deutschland die Zeit des Experimentierens gekommen ist. Und zwar nicht nur in Unternehmen oder an den Unis, sondern für jeden Einzelnen von uns. Wie kann das funktionieren?

Ja, ich war im Sommer bei der Klausurtagung zum Wirtschaftsstandort Deutschland auf Schloss Meseberg mit Kanzler Olaf ­Scholz und seinem Kabinett; und ich würde mir wünschen, dass wir als Bürger und Bürgerinnen eine datenschutz- und rechtssichere Plattform zur Verfügung gestellt bekommen, auf der wir ausprobieren können, was man jetzt alles mit den ­generativen-KI-Systemen tun kann.

t3n: Sie sprechen von einer Art Bildungsoffensive. Verstehen Sie die Angst einiger Menschen, dass sie sich dabei selbst abschaffen könnten? Nach dem Motto: Wenn ich die Tools jetzt nutze und mit meinem Feedback trainiere, dann ­werden sie ­immer besser und könnten mich am Ende doch ersetzen …

Also bei allen Vorträgen zu KI, die ich in letzter Zeit gegeben habe und bei denen ich die Technologie dahinter erkläre, ist die ­Reaktion: Ach so, es ist nur Statistik! Und ja, es ist fantastisch, wie toll das funktioniert, obwohl es nur Statistik ist. Es ist ein Werkzeug und ich glaube, dass fast jeder von uns damit schneller werden kann. Werden Jobs wegfallen oder nicht? Das finde ich schwer zu sagen. Nehmen wir einmal Übersetzungen: Natürlich kann man als Übersetzer jetzt Angst haben, ersetzt zu werden, aber ich glaube, es wird eher mehr Bedarf geben.

t3n: Was meinen Sie damit?

Es wird mehr Menschen geben, die sich zum Beispiel an Übersetzungen für ihren kleinen Webshop herantrauen, um sich damit den ganzen europäischen Markt zu erschließen, weil es nicht mehr so teuer ist. Aber bei rechtlichen Fragen kann es dann passieren, dass es plötzlich Probleme mit den Kunden gibt. Und dann braucht es doch menschliche Übersetzer, die sich das noch einmal anschauen. Am Ende wird also eventuell dadurch, dass mehr Menschen automatische Übersetzungen für sich nutzen, der Markt sogar größer und der Bedarf an Übersetzern steigt. Ich erwarte, dass es im Wesentlichen wie bei allen technologischen Erfindungen so ausgeht, dass das, was vorher im Mittelsegment war, für viele erschwinglich wird, und gleichzeitig neue Luxus­produkte angeboten werden.

t3n: Der Übersetzer, der die Arbeit der KI überprüft, das entspricht dem Prinzip „Human in the Loop“. Sprich: Das ­letzte Wort hat der Mensch. Das hört sich erst einmal gut und vielleicht beruhigend an, aber es gibt das Phänomen, dass Menschen dazu tendieren, die Entscheidung einer KI für richtig und zuverlässig zu halten. Sie sind letztlich froh, die Verantwortung abgeben zu können. Die KI war’s, nicht ich. Ist das nicht problematisch?

Ja, das glaube ich auch. Ein aktuelles Beispiel: Die HU Berlin hat gerade eine Richtlinie für die Verwendung von KI herausgegeben. Und da heißt es, die Dozenten und Dozentinnen dürfen „nicht nur“ ­KI-Systeme verwenden, um zu bewerten. Das halte ich für fatal, denn KI-Systeme dürfen meiner Meinung nach gar keine Bewertung durchführen – ChatGPT schon gar nicht. Das ist dafür einfach nicht geeignet.

t3n: Wie halten Sie es denn damit?

Was ich persönlich für zulässig halte: Wenn man der Maschine sagt: Bitte mach aus meinen Stichworten ein vollständiges Bewertungsschreiben oder gehe noch einmal über meinen Text und sorge für eine anständige Rechtschreibung und Kommasetzung. Das können die Maschinen nämlich ziemlich gut. Die Bewertungen selbst darf die Maschine nicht übernehmen und das muss auch Teil unserer Berufsethik sein.