Als Susan Anderson zum ersten Mal mit OpenAIs ChatGPT interagiert, löst der Chatbot eine Mischung aus Skepsis und Neugierde in ihr aus. Anderson ist Abteilungsleiterin bei Mitratech, einem Anbieter von Compliance-Technologie für Rechts-, Risiko- und HR-Teams. Wie viele andere stellt sie sich die Frage: Könnte KI die Beschäftigten im Personalwesen entlasten – oder ihre Jobs irgendwann ganz übernehmen?
Mit ihrem Team beginnt Anderson, die Möglichkeiten von ChatGPT im HR-Bereich auszuloten. „Ich wollte herausfinden, ob KI die komplexen und oft sensiblen Themen des Personalwesens, von der Einhaltung gesetzlicher Vorschriften bis hin zu Mitarbeiterbeziehungen, bewältigen kann.“ Am Ende fällt ihr Fazit gemischt aus.
KI im HR-Test – Phase 1: Trifft ChatGPT regelkonforme Entscheidungen?
In einem sechswöchigen Experiment testen Anderson und ihr Team, ob die ChatGPT-Versionen 3.0, 3.5 und 4.0 in vier gesetzlich klar geregelten Bereichen passende Entscheidungen treffen würden. „Wir haben Testszenarien entworfen, die von Gehaltstransparenz bis hin zu komplexen Kündigungs- und Urlaubsrichtlinien für Mitarbeiter reichen“, schreibt die HR-Expertin in einem Erfahrungsbericht bei Fast Company.
Alle Lösungsvorschläge, die ChatGPT zu den jeweiligen Szenarien ausspuckt, werden vom Team auf „Genauigkeit, Relevanz, Konsistenz, Kürze, Verzerrung und Anwendbarkeit“ untersucht. Dabei zeigt sich: Gerade bei den Ergebnissen von GPT3, dem ältesten Modell im Test, fehlen wichtige Details und Nuancen. Die neueren GPT-Modelle sind da schon deutlich besser. „Vor allem GPT-4 zeigte einen deutlichen Leistungssprung. Es bearbeitete alle zehn Fragen in unseren Bewertungskategorien mit einer deutlichen Zunahme an Genauigkeit und Relevanz“, schreibt Anderson in ihrem Bericht.
KI im HR-Test –Phase 2: Costum ChatGPT als Unterstützung
Einen vollwertiger Ersatz für die menschliche Beurteilung von Fällen liefert ChatGPT noch nicht. Weil Anderson und ihr Team in ihrem ersten Testlauf aber Potenzial erkennen, entwickeln sie im zweiten Schritt einen spezialisierten Costum GPT, der die Mitratech-Berater:innen beim Bearbeiten von Anfragen unterstützen soll.
Der angepasste Chatbot wird zunächst drei Wochen im Betrieb getestet. Die Beschäftigten bewerten die einzelnen Antworten der KI und geben zusätzlich wöchentliches Feedback. „Die Ergebnisse dieser Phase fielen überraschend positiv aus. Während die Effizienz leicht abnahm, verbesserte sich die Qualität der Antworten aus unserem benutzerdefinierten ChatGPT während des Testzeitraums erheblich. Noch wichtiger ist, dass die Mitarbeiter mit der KI-Integration sehr zufrieden waren, und das Kundenfeedback zu den während des POC bearbeiteten Fällen war überwältigend positiv“, resümiert Anderson.
Ihr Gesamtfazit fällt positiv aus, ihre Skepsis gegenüber KI-Tools sei um Laufe des Experiments deutlich weniger geworden. „Als ChatGPT auf den Plan trat, waren viele meiner Teammitglieder (mich eingeschlossen!) besorgt, dass es uns arbeitslos machen würde. Aber wir haben durch diesen Prozess gelernt, dass KI ein mächtiges Werkzeug sein kann, um unsere Arbeit zu verbessern.“ Ganz ohne Mensch geht es aus Sicht der HR-Expertin aber nicht: „Die Zukunft des Personalwesens besteht nicht darin, zwischen KI und Menschen zu wählen, sondern beide zu integrieren, um die besten Ergebnisse für unsere Organisationen und Teams zu erzielen“.
