Turing-Preisträger Yoshua Bengio gilt als einer der „Godfather of AI“ der modernen Künstlichen Intelligenz (KI). Jetzt schließt er sich dem britischen Projekt „Safeguarded AI“ an, das Sicherheitsmechanismen in KI-Systeme einbetten soll. Ziel ist die Entwicklung eines KI-Systems, das überprüfen kann, ob andere KI-Systeme für kritische Bereiche sicher sind. Bengio tritt dem Programm als wissenschaftlicher Leiter bei. Das Projekt wird in den nächsten vier Jahren 59 Millionen Pfund (knapp 69 Mio. Euro) von der britischen Advanced Research and Invention Agency (ARIA) erhalten, die im Januar letzten Jahres ins Leben gerufen wurde, um in potenziell transformative wissenschaftliche Forschung zu investieren.

Die von Safeguarded AI entwickelten KI-Systeme sollen quantitative Garantien wie zum Beispiel Risikobewertungen über ihre Auswirkungen auf die reale Welt bieten, sagt David „davidad“ Dalrymple, der Programmdirektor für Safeguarded AI bei ARIA. Die Idee ist, menschliche Tests durch mathematische Analysen des Schadenspotenzials neuer Systeme zu ergänzen. Für die KI-Sicherheitsmechanismen sollen wissenschaftliche Weltmodelle, die im Wesentlichen Simulationen der Welt sind, mit mathematischen Beweisen kombinieren. Diese Beweise würden Erklärungen für die Arbeit der KI enthalten, und Menschen hätten die Aufgabe, zu überprüfen, ob die Sicherheitsprüfungen des KI-Modells korrekt sind.

Bengio selbst will dazu beitragen, dass künftige KI-Systeme keinen ernsthaften Schaden anrichten können. „Wir rasen derzeit auf einen Nebel zu, hinter dem sich ein Abgrund befinden könnte“, sagt er. „Wir wissen nicht, wie weit der Abgrund entfernt ist oder ob es ihn überhaupt gibt, es könnten also noch Jahre oder Jahrzehnte vergehen, und wir wissen nicht, wie schwerwiegend er sein könnte. Wir müssen die Werkzeuge entwickeln, um diesen Nebel zu lichten und sicherzustellen, dass wir nicht in einen Abgrund hineinfahren, wenn es einen gibt.“

Wissenschafts- und Technologieunternehmen haben bisher keine Möglichkeit, mathematische Garantien dafür zu geben, dass sich KI-Systeme wie programmiert verhalten, sagt Bengio. Diese Unzuverlässigkeit könne zu katastrophalen Ergebnissen führen. Dalrymple und Bengio argumentieren, dass die derzeitigen Techniken zur Risikominderung bei fortgeschrittenen KI-Systemen – wie etwa das Red-Teaming, bei dem Menschen KI-Systeme auf Schwachstellen untersuchen – ernsthafte Einschränkungen aufweisen und nicht gewährleisten können, dass kritische Systeme nicht aus dem Ruder laufen. Für dieses Argument spricht, dass Sicherheitsforscher:innen in der Vergangenheit bereits öfter mit Hilfe von KIs Schwachstellen anderer KIs aufdecken konnten – zum Beispiel, indem sie ihre Software darauf trainierten, nach Prompts zu suchen, die die Sicherheitsfilter großer Sprachmodelle aushebeln.

Stattdessen hoffen sie, dass das Programm neue Wege zur Sicherung von KI-Systemen aufzeigt, die sich weniger auf menschliche Bemühungen und mehr auf mathematische Gewissheit stützen. Die Vision ist der Aufbau einer „Gatekeeper-KI“ mit der Aufgabe, die Sicherheitsrisiken anderer KI-Agenten zu verstehen und zu verringern. Der Torwächter würde dafür sorgen, dass KI-Agenten, die in hochsensiblen Bereichen wie Verkehr oder Energiesystemen eingesetzt werden, wie gewollt funktionieren. Dafür wollen sie früh mit Unternehmen zusammenarbeiten, um zu verstehen, wie KI-Sicherheitsmechanismen für verschiedene Sektoren nützlich sein könnten, sagt Dalrymple. Allerdings sind diese Gatekeeper im Moment noch rein hypothetisch. Zwar gibt es mathematische Methoden der „formalen Verifikation“ von Software. Die skalieren allerdings bisher nicht gut und lassen sich nur auf recht kleine Systeme anwenden.

Die Komplexität fortschrittlicher Systeme bedeutet, dass es keine andere Wahl gibt, als KI zum Schutz von KI einzusetzen, argumentiert Bengio. „Das ist der einzige Weg, denn irgendwann sind diese KIs einfach zu kompliziert. Selbst die, die wir jetzt haben, können ihre Antworten nicht wirklich in menschlich verständliche Abfolgen von Denkschritten aufschlüsseln“, sagt er. Die Forschenden, die weltweit an erklärbaren KI-Systemen (XAI, Explainable Artificial Intelligence) arbeiten, würden dieser These jedoch vermutlich nicht zustimmen.

Neben seiner finanziellen Unterstützung für das Safeguarded AI-Projekt bietet ARIA auch Hochrisikosektoren wie Verkehr, Telekommunikation, Lieferketten und medizinische Forschung eine Finanzierung für die Entwicklung von neuen Anwendungen an, die von KI-Sicherheitsmechanismen profitieren könnten. ARIA zahlt erfolgreichen Antragstellern im ersten Jahr insgesamt 5,4 Millionen Pfund und im zweiten Jahr weitere 8,2 Millionen Pfund. Die Frist für die Einreichung von Anträgen endet am 2. Oktober.

Die Agentur wirft darüber hinaus auch ein weites Netz für Personen aus, die daran interessiert sein könnten, den Sicherheitsmechanismus von Safeguarded AI mithilfe einer gemeinnützigen Organisation aufzubauen. ARIA plant bis zu 18 Millionen Pfund für den Aufbau dieser Organisation ein und will ab Anfang nächsten Jahres Anträge entgegennehmen.

Das Programm sucht nach Vorschlägen für die Gründung einer gemeinnützigen Organisation mit einem breit gefächerten Vorstand, der viele verschiedene Sektoren umfasst, um diese Arbeit auf zuverlässige und vertrauenswürdige Weise durchzuführen, so Dalrymple. Das ähnelt der ursprünglichen Ausrichtung von OpenAI, bevor es später seine Strategie änderte und sich mehr auf Produkte und Gewinne konzentrierte.

Der Vorstand der Organisation soll nicht nur Aufsicht über den CEO führen, sondern wird auch mitentscheiden, welche Forschungsprojekte durchgeführt werden und ob bestimmte Fachartikel und Programmierschnittstellen (APIs) veröffentlicht werden, fügt Dalrymple hinzu.

Das Projekt Safeguarded AI ist Teil der Mission Großbritanniens, sich als Vorreiter in Sachen KI-Sicherheit zu positionieren. Im November 2023 war das Land Gastgeber des ersten KI-Sicherheitsgipfels, auf dem führende Persönlichkeiten und Technologen aus aller Welt darüber diskutierten, wie die Technologie auf sichere Weise entwickelt werden kann.

Das Förderprogramm bevorzugt zwar Bewerber aus dem Vereinigten Königreich, aber ARIA sucht auch nach Talenten aus aller Welt, die an einem Aufenthalt im Vereinigten Königreich interessiert sein könnten, so Dalrymple. ARIA verfügt auch über einen Mechanismus zum Schutz des geistigen Eigentums für die Finanzierung gewinnorientierter Unternehmen im Ausland, der es ermöglicht, dass die Lizenzgebühren in das Land zurückfließen.

Bengio sagt, er habe sich zu dem Projekt hingezogen gefühlt, um die internationale Zusammenarbeit im Bereich der KI-Sicherheit zu fördern. Er ist Vorsitzender des Internationalen Wissenschaftlichen Berichts über die Sicherheit fortgeschrittener KI, an dem 30 Länder sowie die EU und die UN beteiligt sind. Als lautstarker Befürworter der KI-Sicherheit gehört er zu einer einflussreichen Lobby, die davor warnt, dass superintelligente KI ein existenzielles Risiko darstellt. „Wir müssen die Diskussion darüber, wie wir die Risiken der KI angehen wollen, auf eine globale, größere Gruppe von Akteuren übertragen“, sagt Bengio. „Dieses Programm bringt uns dem näher.“