Microsoft-Tochter GitHub verspricht sich vom Einsatz ihres Entwickler:innen-Chatbots nicht weniger als eine Verzehnfachung der Produktivität. Trotz der mittlerweile großen Verbreitung von KI-Chatbots gab es bislang aber recht wenige unabhängige Studien dazu, wie die von Entwickler:innen wirklich eingesetzt werden, und welche Auswirkungen das auf die Arbeit im Team hat.
Eine Gruppe schwedischer Forscher:innen versucht diese Lücke zu schließend und hat im Rahmen eines Experiments ausgewertet, wie insgesamt 24 Softwareentwickler:innen aus zehn Unternehmen mit ChatGPT gearbeitet haben. Dazu wurden die Chatprotokolle ausgewertet und die Proband:innen mussten einen Fragebogen ausfüllen.
Auch wenn bei der Studie noch das im Jahr 2022 veröffentlichte Modell GPT-3.5 zum Einsatz kam, bietet sie interessante Einblicke in den produktiven Einsatz von KI-Chatbots.
Entwickler:innen wollen von ChatGPT lernen
Interessanterweise wollten die Entwickler:innen im Großteil der Fälle keinen einsatzbereiten Code von dem Chatbot haben. Tatsächlich war das nur in einem Drittel der Anfragen der Fall. „In den meisten Gesprächen waren Teilnehmer:innen an einer Anleitung oder einem Training zur Lösung einer Aufgabe interessiert, nicht daran, dass diese direkt automatisiert wird“, heißt es dazu in der Studie.
Die Forscher:innen geben allerdings zu bedenken, dass die Zahl bei Chatbots höher sein könnte, die direkt in Entwicklungsumgebungen integriert sind. „Dennoch argumentieren wir, dass zukünftige Studien über die Verwendung von großen Sprachmodellen in der Softwareentwicklung berücksichtigen müssen, dass Entwickler:innen sie für mehr als nur die Codegenerierung verwenden.“
ChatGPT kann auch Nachteile für die Produktivität haben
Laut der Untersuchung kann ChatGPT Softwareentwickler:innen nicht nur bei der Lösung klar definierter Probleme helfen, sondern auch als Inspirationsquelle hilfreich sein. „Teilnehmer:innen, die ChatGPT zum Brainstorming verwendet haben, waren mit dem Ergebnis zufrieden“, heißt es dazu in dem Paper. Gleichzeitig kann die KI aber an anderer Stelle negative Effekte auf die Produktivität haben.
Laut Studie verringert der Einsatz von Chatbots die Kommunikation im Team. „In einigen Fällen kann eine KI-Antwort Teilnehmer:innen das Gefühl gegeben haben, dass eine weitere Diskussion mit dem Rest des Teams nicht erforderlich ist“, erläutern die Wissenschaftler:innen das Problem. In dem Fall könnten im Anschluss Zeit und Energie auf die Umsetzung einer suboptimalen Lösung verschwendet werden, obwohl im Austausch mit dem Team möglicherweise eine bessere gefunden werden könnte.
Außerdem stellten die Wissenschaftler:innen fest, dass die Teilnehmer:innen in einigen Fällen extrem viel Zeit auf die Erstellung eines perfekten Prompts aufgewendet hatten, um nutzbaren Code zu erhalten. Dabei wäre es deutlich schneller gewesen, mit einem simpleren Prompt einen nicht ganz optimalen Code zu erstellen und danach selbst anzupassen.
KI kann Softwareentwicklung in vielen Bereichen unterstützen
Die Studie zeigt, dass Chatbots Softwareentwickler:innen auch über die Codegenerierung hinaus unterstützen können. Gleichzeitig wird aber auch aufgezeigt, dass sich eben auch überraschende Nachteile wie ein Rückgang der Kommunikation ergeben können. Hier müssen Unternehmen im Zweifel überlegen, wie Workflows organisiert werden müssen, damit sich daraus keine Nachteile für die Produktivität eines Teams ergeben.
Wieso wird vorausgesetzt, dass Kommunikation etwas gutes ist. Wir haben ein 4 Augen Prinzip und die Möglichkeit, Know-how Austausch zu organisieren wenn wir etwas entsprechendes haben – aber das Muster „,jedes Problem im Team diskutieren“ klingt fragwürdig
Mit diesem gender „innen“ liest sich der Artikel wirklich krebsig.
Chatgpt liefert meines Erachtens für akademische Probleme (sprich Hausarbeiten für Studenten) gute Lösungen. Diese könnte man zwar genauso gut Googeln, aber man hat dann die Arbeit aus den mehreren hundert Treffern sich etwas geeignetes bzw. plausibles auszusuchen. Eine spezifische Lösung für real existierende Probleme, die auch nicht mit Google gefunden werden können, wird Chatgpt oder auch eine andere KI nicht liefern können. Ich habe mehrere KI’s ausprobiert. Alle haben einfache Aufgaben (Schule/Studium) lösen können. Für reale Aufgabenstellungen kam aber nur plausibel aussehender Unsinn als Ergebnis heraus. Dies geht im Dialog mit der KI dann sogar soweit das sich die KI entschuldigt. Nach meiner Erfahrung ist der Einsatz einer KI zur Zeit für die Softwareentwicklung eine reine Zeit- und Geldverschwendung. Es geht eben nichts über natürliche Intelligenz, auch wenn diese anstrengender ist.
„Microsoft-Tochter GitHub verspricht sich vom Einsatz ihres Entwickler:innen-Chatbots nicht weniger als eine Verzehnfachung der Produktivität.“
Ja, wenn man Github Copilot benutzt. Untersucht wurde aber GPT-3.5.
Das eine ist hervorragend für die Programmierung geeignet, das andere eine Vollkatastrophe.
GPT-4(o) liegt irgendwo in der einigermaßen brauchbaren Mitte.
Wieso noch jemand 3.5 untersucht, ausgerechnet fürs Programmieren – ich weiß es nicht. Das kann ja nicht klappen.
Das auf ChatGPT allgemein zu beziehen ist, jedenfalls irreführend. Das ist als ob man alte Glühlampen anstatt LEDs untersucht und dann schreibt „Elektrisches Licht braucht unheimlich viel Strom“.