In den USA verlieren derzeit Tausende Beschäftigte ihre Arbeitsplätze – mutmaßlich als Folge des wachsenden Einsatzes von KI. Wie Wired berichtet, zeigt eine neue Benchmark jedoch, dass aktuelle KI-Tools noch weit davon entfernt sind, ganze Aufgabenbereiche zu übernehmen. Selbst das leistungsstärkste getestete Modell konnte nur rund drei Prozent der geforderten Aufträge zufriedenstellend ausführen.

Der neue Remote Labor Index soll Auskunft darüber geben, wie gut aktuelle KI-Modelle tatsächlich dazu in der Lage sind, menschliche Arbeitskräfte zu ersetzen. Entwickelt wurde die Benchmark von einem Forschungsteam, das sich aus Expert:innen des Datenannotationsunternehmens Scale AI und der gemeinnützigen Organisation Center for AI Safety zusammensetzt. Es wurden mehrere führende KI-Agenten mit einer Reihe von Aufgaben beauftragt, die klassischerweise an Freelancer:innen übergeben werden. Darunter waren beispielsweise Tätigkeiten aus den Bereichen Grafikdesign, Videobearbeitung und Spielentwicklung, aber auch administrative Aufgaben wie das Extrahieren von Daten.

Insgesamt hätten Freelancer:innen mit den Aufträgen knapp 144.000 US-Dollar verdienen können. Im Benchmark-Test konnte allerdings selbst der KI-Agent, der am besten abschnitt, nur drei Prozent der Aufgaben erledigen – und kam somit auf einen Verdienst von lediglich rund 1.800 Dollar. Am besten schnitt ein KI-Agent namens Manus ab, der von dem gleichnamigen Startup aus China entwickelt wurde. Auf den weiteren Plätzen folgten Grok von xAI, Claude von Anthropic, ChatGPT von OpenAI und Gemini von Google. Selbst die beliebtesten und leistungsfähigsten KI-Tools fielen im Test also durch – und sind somit weit davon entfernt, menschliche Freelancer:innen zu ersetzen.

Auch die Unternehmen selbst befeuern die Spekulationen, dass KI schon bald in großem Stil menschliche Arbeitskräfte ablösen könnte. So warnte etwa Anthropic-Chef Dario Amodei, dass KI Millionen gut bezahlte Jobs gefährden und die Arbeitslosenquote auf bis zu 20 Prozent steigen lassen könnte. Tatsächlich kam es in den USA zuletzt zu massiven Entlassungen: So trennte sich Meta von rund 600 Mitarbeiter:innen aus seinem KI-Labor, während Amazon ankündigte, sogar 14.000 Stellen zu streichen. Besonders betroffen sind Bürojobs, die lange als sicher galten und in der Regel ein stabiles Einkommen sowie Aufstiegschancen boten. Ein Forrester-Report zeigt allerdings, dass mehr als die Hälfte der Arbeitgeber:innen, die Personal durch KI ersetzt haben, diese Entscheidung inzwischen bereut.

„Wir diskutieren seit Jahren über KI und Arbeitsplätze, aber das meiste davon war bisher hypothetisch oder theoretisch“, sagt Bing Liu, der als Forschungsdirektor bei Scale AI die neue Benchmark mit vorgestellt hat. Dan Hendrycks, Direktor des Center for AI Safety, fügt hinzu: „Ich hoffe, dass dies einen viel genaueren Eindruck davon vermittelt, wie es um die Fähigkeiten der KI steht.” Einige KI-Agenten hätten sich im letzten Jahr zwar deutlich verbessert und würden jetzt vor allem beim Coding und logischen Denken bessere Ergebnisse erzielen, trotzdem würden immer noch große Probleme damit bestehen, verschiedene Tools zu verwenden und komplexe Aufgaben auszuführen, die mehrere Schritte umfassen. „Sie haben keinen Langzeitspeicher und lernen nicht kontinuierlich aus Erfahrungen. Sie können nicht wie Menschen Fähigkeiten am Arbeitsplatz erwerben“, sagt er.

Liu und Hendrycks räumen ein, dass die neue Benchmark kein perfekter Maßstab für die wirtschaftlichen Auswirkungen von KI ist. Viele Berufe umfassen Aufgaben, die von der Messung nicht erfasst werden. In der Realität würden wahrscheinlich auch viele Freelancer:innen KI als Werkzeug nutzen, um ihre Produktivität zu steigern. Die Ergebnisse des Remote Labor Index legen allerdings nahe, dass menschliche Mitarbeiter:innen keine Angst davor haben müssen, in naher Zukunft von KI abgehängt zu werden.