KI-Experiment: Warum KI-Agenten als Mitarbeiter (noch) ein teurer Witz sind

Einige Arbeitnehmer:innen haben Angst davor, dass KI sie in ihren Jobs ablösen könnte. Manche Angestellte sind deshalb schon dazu übergegangen, KI-Tools innerhalb ihres Unternehmens aktiv zu sabotieren. Allerdings zeigt ein Experiment von Forscher:innen der Carnegie Mellon University, dass die Sorgen nur teilweise berechtigt sind. Zwar können KI-Tools einige Arbeitsschritte übernehmen, aber definitiv nicht alle Menschen in einem Unternehmen ersetzen.
Ein Softwareunternehmen, das von künstlicher Intelligenz geleitet wird
Für das Experiment haben die Forscher:innen KI-Agenten von Google, Meta, Anthropic, OpenAI und weiteren Unternehmen genutzt. Zusammen sollten sie ein fiktives Softwareunternehmen namens The Agent Company steuern, wie Business Insider berichtet. Dementsprechend wurden den KI-Agenten auch Aufgaben und Positionen zugeteilt, die normalerweise in einem solchen Unternehmen vorkommen würden. Eine künstliche Intelligenz fungierte als Projektmanager, während andere Tools die Rollen von Finanzanalysten, Softwareingenieuren oder auch HR-Mitarbeitern übernahmen.
Zu den Aufgaben der KI-Agenten zählten etwa das Navigieren innerhalb einer großen Datenbank, das Sammeln von Feedback und anschließende Erstellen einer Performance-Bewertung für einen anderen Mitarbeiter sowie die Auswahl passender Büroräume anhand von Videoaufnahmen der Örtlichkeiten. Schon nach kurzer Zeit zeigte sich, dass die KI-Agenten mit den Aufgaben weitestgehend überfordert waren.
Die beste Performance lieferte Anthropics KI-Modell Claude 3.5 Sonnet ab. Der KI-Agent war allerdings auch nur in der Lage, rund 24 Prozent der gestellten Aufgaben zu absolvieren. Googles Gemini 2.0 Flash schaffte hingegen nur etwa 11,4 Prozent der Aufgaben und belegte damit den zweiten Platz im Ranking. Am schlechtesten schnitt Amazons Modell Nova Pro v1 ab, das lediglich eine Erfolgsquote von 1,7 Prozent erreichen konnte.
Zudem betonen die Forscher:innen, dass die Kosten für die erledigten Aufgaben trotz der niedrigen Erfolgsquote in die Höhe schnellen können. Im Schnitt benötigte Claude 3.5 Sonnet rund 30 Schritte, um eine Aufgabe zu absolvieren. Dadurch entstanden Kosten von etwa sechs US-Dollar pro Aufgabe. Gemini 1.5 Pro, das ebenfalls getestet wurde, benötigte 22 Schritte und verursachte Kosten von 6,78 Dollar – bei einer Erfolgsquote von 3,4 Prozent.
In ihrem Paper stellen die Verantwortlichen zudem fest, dass KI-Agenten gelegentlich betrügen. Ein Phänomen, das auch bei KI-Modellen beobachtet wurde, die beim Schach schummeln, wenn sie verlieren. Bei The Agent Company sollte ein KI-Agent Informationen von einem anderen KI-Agenten über das Chat-Tool einholen. Da die KI den richtigen User nicht fand, benannte sie kurzerhand einen anderen User um und befragte ihn stattdessen.