
Fragt man die auf GPT-4 basierende ChatGPT-Version nach ihren Kenntnissen in Chemie, antwortet der KI-Chatbot, er sei „in vielen Bereichen der Chemie gut bewandert, von den Grundlagen bis zu fortgeschrittenen Themen“. Forscher:innen am Tokyo Institute of Technology wollten das genauer wissen und haben OpenAIs KI-System GPT-4 einer entsprechenden Prüfung unterzogen.
GPT-4: Stärken und Schwächen in Chemie
Einem in dem Fachmagazin „Science and Technology of Advanced Materials: Methods“ veröffentlichten Diskussionspapier zufolge zeigte GPT-4 auf der einen Seite zwar durchaus nützliche Fähigkeiten bei der Bewältigung chemischer Herausforderungen. Das KI-System weist aber den Forscher:innen zufolge auch erhebliche Schwächen auf, wenn es um Chemie-Kompetenzen geht.
GPT-4 „verfügt über ein bemerkenswertes Verständnis der Chemie. Das deutet darauf hin, dass es experimentelle Ergebnisse auf eine Weise vorhersagen und vorschlagen kann, die menschlichen Denkprozessen ähnelt“, sagte der Chemiker Kan Hatakeyama-Sato laut einer entsprechenden Mitteilung.
Hatakeyama-Sato zufolge sei klar geworden, dass die KI im Rahmen des Trainings auch mit detailliertem Chemiewissen gefüttert worden sei. So bewies GPT-4 ein Verständnis der organischen Chemie auf Lehrbuchniveau. Wenn es jedoch um spezielle Inhalte oder einzigartige Methoden zur Herstellung spezifischer organischer Verbindungen ging, war die Performance des KI-Modells nicht gut.
KI-Modell sagt Eigenschaften voraus
Beim Interpretieren von chemischen Strukturen und deren Umwandlung in eine Standardnotation war GPT-4 nur teilweise effizient. Hervorstach jedoch die Fähigkeit, genaue Vorhersagen für Eigenschaften spezifischer Verbindungen zu zeigen, auf die die KI zuvor nicht trainiert worden war.
Insgesamt, so die Forscher:innen, sei GPT-4 zwar in der Lage einige bestehende Computeralgorithmen zu übertreffen, wenn es um Chemiekompetenz gehe. Im Vergleich zu anderen Algorithmen sei OpenAIs KI-Modell aber hinter den Erwartungen zurückgeblieben.
Weitere Untersuchungen notwendig
Hatakeyama-Sato und seine Kolleg:innen schränkten aber ein, dass ihre Untersuchung nur einen vorläufigen Charakter habe. Künftige Analysen sollten den Umfang der Versuche erweitern und sich eingehender mit der Leistung von GPT-4 in vielfältigeren Szenarien befassen.
Die japanischen Forscher:innen streben aber an, eigene große Sprachmodelle zu entwickeln, die speziell auf Chemie spezialisiert seien. In der Zwischenzeit könnten Forscher:innen bei der Lösung chemischer Fragen aber durchaus versuchen, GPT-4 zur Unterstützung hinzuzuziehen.