Selbstständiges Forschen und Publizieren: Kann diese KI menschliche Wissenschaftler ersetzen?
Sakana AI ist kein unbekanntes Startup im KI-Bereich. Zuletzt hatte das Unternehmen eine künstliche Intelligenz vorgestellt, die automatisch weitere KI-Programme erschaffen kann. Nun stellt das Unternehmen sein neues Projekt vor: den AI Scientist.
Wie funktioniert der KI-Wissenschaftler?
Der AI Scientist soll wissenschaftliche Forschung betreiben, indem er eigenständig Ideen verfolgt, wissenschaftliche Untersuchungen anstellt und diese im Anschluss auswertet, um weitere Schlüsse daraus zu ziehen. Sakana AI behauptet, dass der AI Scientist das „erste umfassende System für vollautomatische wissenschaftliche Entdeckungen“ ist.
Grundsätzlich verfolgt der AI Scientist dabei vier Schritte. Zunächst generiert die KI Ideen, die sie erforschen kann. Dazu muss ein Themenfeld von Menschen vorgegeben werden. Anhand dieses Themenfeldes sucht die KI mögliche Forschungsgebiete und überprüft auf Semantic Scholar, einer Datenbank mit über 220 Millionen Papern, ob die Ideen neu sind und damit erforscht werden sollten.
Ist eine neue Idee gefunden, geht die KI in die Phase des Experimentierens über. Sie soll diese anhand wissenschaftlicher Rahmenbedingungen durchführen, die Ergebnisse festhalten und anschließend visualisieren. Dabei macht sich die KI auch Notizen zu bestimmten Vorgehensweisen, die für ein folgendes Paper wichtig sind. Und genau dieses wissenschaftliche Paper schreibt der AI Scientist in Schritt 3. Dabei greift die KI auf ihre eigenen Ergebnisse zurück und kann andere Paper über die Datenbank von Semantic Scholar zitieren.
Doch damit nicht genug: Am Ende kann die KI ihre wissenschaftliche Arbeit laut Startup sogar quasi selbst bewerten. Dabei greift eine zweite KI, die allein darauf spezialisiert ist, Paper zu analysieren. Sakana AI behauptet, dass diese KI in der Lage wäre, Paper mit menschenähnlicher Genauigkeit zu bewerten. Das Feedback kann dann wieder vom AI Scientist genutzt werden, um eine weitere Iteration der Forschungsarbeit zu erstellen oder diese Erkenntnisse in zukünftigen Papern zu verarbeiten.
Der Vorteil der KI: Sie kann laut Sakana AI deutlich schneller Ergebnisse vorweisen und ist dabei auch kostengünstiger. Jedes Paper soll am Ende etwa 15 US-Dollar kosten, wenn die KI damit fertig ist. Wie lang ein Durchlauf der KI dauert, verriet Sakana AI allerdings nicht.
Erste Erfolge mit dem AI Scientist
In ersten Testreihen haben die Verantwortlichen bei Sakana AI dem KI-Wissenschaftler aufgetragen, Paper zum Thema maschinelles Lernen zu erstellen. Die KI hat vier Paper zu Themen wie Diffusion Modeling, Language Modeling und Grokking erstellt. Diese sind laut Sakana AI schon vielversprechend, zeigen aber auch die Herausforderungen, die es noch zu lösen gilt.
Denn in der aktuellen Form hat der AI Scientist keine visuellen Fertigkeiten. Heißt: Gibt es beispielsweise Probleme mit der Formatierung von Tabellen in einem Paper, kann die KI diese nicht erkennen oder lösen. Das resultiert unter anderem in Tabellen, die die Breite der Seite überschreiten. Zudem macht der AI Scientist derzeit noch unfaire Vergleiche zu Baseline-Werten und scheitert, wenn er das Ausmaß von ermittelten Werten miteinander vergleichen soll.
Außerdem hat Sakana AI festgestellt, dass der KI-Wissenschaftler hin und wieder schummeln will. So haben die Entwickler:innen einen Zeitrahmen eingebaut, den ein Paper nicht überschreiten darf. Bei einem Versuch benötigte der AI Scientist länger und versuchte laut Sakana AI das Zeitlimit im eigenen Code hochzusetzen, um das Experiment nicht abbrechen zu müssen.
