Miles Brundage war sechs Jahre lang für OpenAI tätig, zuletzt als Senior Advisor für AGI Readiness. Genau vor dieser Allgemeinen Künstlichen Intelligenz (AGI) warnt der KI-Experte jetzt. Dabei handelt es sich um eine Form der künstlichen Intelligenz, die menschliche Intelligenz in all ihren kognitiven Fähigkeiten erreicht oder übertrifft und eigenständig komplexe Aufgaben lösen kann.

„Weder OpenAI noch irgendein anderes führendes KI-Labor ist auf AGI vorbereitet, und die Welt ebenfalls nicht“, schreibt Brundage in einem Artikel auf Substack. Für kontrovers hält er diese Aussage, zumindest innerhalb der Geschäftsführung von OpenAI, allerdings nicht. Es sei schließlich eine Frage, als die „ob das Unternehmen und die Welt auf dem richtigen Weg sind, um zum richtigen Zeitpunkt bereit zu sein.“

Für Brundage sei der Begriff „bereit für AGI“ lediglich eine Abkürzung. Die Langform lautet für ihn: „Bereitschaft zur sicheren und nutzbringenden Entwicklung, zum Einsatz und zur Verwaltung zunehmend leistungsfähigerer KI-Systeme“.

Bei OpenAI leitete Brundage die Entwicklung von Sicherheitsstrategien. Seine Teams arbeiteten an Programmen zur Risikobewertung von Modellen und den gesellschaftlichen Folgen von Sprachmodellen.

Der Hauptgrund für seinen Abgang war die Einschränkung im Hinblick auf Forschung und Publikation bei OpenAI. Diese wurden durch das steigende öffentliche Profil des Unternehmens und interne Richtlinien immer weiter verschärft.

Neben Brundage haben zuletzt auch weitere bekannte Sicherheitsforscher OpenAI verlassen. Darunter Jan Leike, der kritisierte, dass die Sicherheitskultur und -prozesse bei OpenAI zugunsten schneller Produktentwicklungen an Bedeutung verloren hätten. Auch Mitgründer Ilya Sutskever verabschiedete sich, um ein eigenes KI-Startup zu gründen, das sich auf sichere AGI-Entwicklung konzentrieren möchte, meldet The Verge.

Die Abgänge weisen auf eine wachsende Kluft zwischen OpenAIs ursprünglicher Mission und den zunehmenden kommerziellen Interessen hin. Das Unternehmen steht Berichten zufolge unter Druck, innerhalb der nächsten zwei Jahre in eine Public Benefit Corporation umgewandelt zu werden, um sich weiterhin Investitionen zu sichern.

Brundage glaubt, externe Forschung sei notwendig, um unabhängig und frei von Interessenkonflikten über KI-Risiken sprechen zu können. Er ist der Meinung, dass er außerhalb der Industrie einen größeren Einfluss auf die globale KI-Politik haben kann.

Um das in die Tat umzusetzen, plant der KI-Sicherheitsforscher eine Non-Profit-Organisation zu gründen, die sich verstärkt auf globale KI-Richtlinien konzentriert. Als Forschungsschwerpunkte dafür definiert er die Entwicklung und Regulierung von KI-Sicherheit, wirtschaftliche Auswirkungen der KI, Bereitstellung „guter“ KI-Anwendungen, globale „AI grand strategy“.

Berichten zufolge hatten Brundages und Leikes Teams oft nicht genügend Ressourcen, um die erforderliche Sicherheitsforschung durchzuführen. So soll Leikes Gruppe keine ausreichende Rechenkapazität erhalten haben, was letztlich zur Auflösung des Teams führte.

OpenAI möchte Brundage allerdings bei seinem neuen Vorhaben unterstützen, indem sie Finanzierung, API-Credits und Vorabzugang zu neuen Modellen bereitstellen. Diese Unterstützung soll an keine Bedingungen geknüpft sein, schreibt er.