Fragt man die auf GPT-4 basierende ChatGPT-Version nach ihren Kenntnissen in Chemie, antwortet der KI-Chatbot, er sei „in vielen Bereichen der Chemie gut bewandert, von den Grundlagen bis zu fortgeschrittenen Themen“. Forscher:innen am Tokyo Institute of Technology wollten das genauer wissen und haben OpenAIs KI-System GPT-4 einer entsprechenden Prüfung unterzogen.
GPT-4: Stärken und Schwächen in Chemie
Einem in dem Fachmagazin „Science and Technology of Advanced Materials: Methods“ veröffentlichten Diskussionspapier zufolge zeigte GPT-4 auf der einen Seite zwar durchaus nützliche Fähigkeiten bei der Bewältigung chemischer Herausforderungen. Das KI-System weist aber den Forscher:innen zufolge auch erhebliche Schwächen auf, wenn es um Chemie-Kompetenzen geht.
GPT-4 „verfügt über ein bemerkenswertes Verständnis der Chemie. Das deutet darauf hin, dass es experimentelle Ergebnisse auf eine Weise vorhersagen und vorschlagen kann, die menschlichen Denkprozessen ähnelt“, sagte der Chemiker Kan Hatakeyama-Sato laut einer entsprechenden Mitteilung.
Hatakeyama-Sato zufolge sei klar geworden, dass die KI im Rahmen des Trainings auch mit detailliertem Chemiewissen gefüttert worden sei. So bewies GPT-4 ein Verständnis der organischen Chemie auf Lehrbuchniveau. Wenn es jedoch um spezielle Inhalte oder einzigartige Methoden zur Herstellung spezifischer organischer Verbindungen ging, war die Performance des KI-Modells nicht gut.
KI-Modell sagt Eigenschaften voraus
Beim Interpretieren von chemischen Strukturen und deren Umwandlung in eine Standardnotation war GPT-4 nur teilweise effizient. Hervorstach jedoch die Fähigkeit, genaue Vorhersagen für Eigenschaften spezifischer Verbindungen zu zeigen, auf die die KI zuvor nicht trainiert worden war.
Insgesamt, so die Forscher:innen, sei GPT-4 zwar in der Lage einige bestehende Computeralgorithmen zu übertreffen, wenn es um Chemiekompetenz gehe. Im Vergleich zu anderen Algorithmen sei OpenAIs KI-Modell aber hinter den Erwartungen zurückgeblieben.
Weitere Untersuchungen notwendig
Hatakeyama-Sato und seine Kolleg:innen schränkten aber ein, dass ihre Untersuchung nur einen vorläufigen Charakter habe. Künftige Analysen sollten den Umfang der Versuche erweitern und sich eingehender mit der Leistung von GPT-4 in vielfältigeren Szenarien befassen.
Die japanischen Forscher:innen streben aber an, eigene große Sprachmodelle zu entwickeln, die speziell auf Chemie spezialisiert seien. In der Zwischenzeit könnten Forscher:innen bei der Lösung chemischer Fragen aber durchaus versuchen, GPT-4 zur Unterstützung hinzuzuziehen.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team