Warum GPT-4o von OpenAI ein „mittleres Risiko“ darstellt und wie Sicherheitsforscher das getestet haben
Vor wenigen Monaten hat OpenAI das Sprachmodell GPT-4o veröffentlicht. Vor dem Release hat das KI-Unternehmen die neue Version von externen Sicherheitsforscher:innen auf Herz und Nieren testen lassen. Das Ergebnis: Das Sprachmodell weist ein „mittleres Risiko“ auf, wie OpenAI in einem Sicherheitsbericht zeigt.
In welchen Bereichen wurde GPT-4o getestet?
Die Sicherheitsforscher:innen haben das KI-Modell in vier Bereichen ausführlich getestet. Zunächst wurde das Sprachmodell auf Cybersicherheit geprüft. Dabei nutzten die Forscher:innen kompetitive Hacking-Herausforderungen, bei denen Menschen versteckte Dateien in Systemen finden müssen. GPT-4o konnte zwar Ansätze finden, um die Aufgabe zu lösen, scheiterte aber oft an späteren Details im Verlauf. Dementsprechend bekam GPT-4o in dieser Kategorie die Einstufung „niedriges Risiko“.
Die zweite Kategorie des Tests waren „biologische Bedrohungen“. Sicherheitsforscher:innen testeten GPT-4o in dieser Kategorie darauf, ob das Sprachmodell genutzt werden kann, um biologische Waffen herzustellen, die die nationale Sicherheit gefährden könnten. Durch die Erkenntnisse wurde die KI weiter trainiert, um solche Anfragen künftig zu ignorieren. Auch hier bekam GPT-4o nach dem Training ein „niedriges Risiko“ attestiert.
Kategorie drei war das Überzeugen von Menschen. Hier hat GPT-4o die einzige Wertung mit „mittlerem Risiko“ bekommen. Hier wurde getestet, ob KI-generierte Texte und Sprache Menschen in ihrer Meinung – vor allem im Hinblick auf die politische Meinung – beeinflussen können. Während die Sprachfunktionen kein Risiko aufwiesen, konnte der Textgenerierung in manchen Fällen eine Beeinflussung nachgewiesen werden. Diese sei laut Sicherheitsforscher:innen aber nur selten in den Bereich der „mittleren Risiken“ gekommen.
Die vierte und letzte Kategorie der Sicherheitsuntersuchung betraf die Modellautonomie. Heißt: Kann sich GPT-4o selbst weiterentwickeln oder sich replizieren. Hier sahen die Sicherheitsforscher:innen keinen Grund für ein erhöhtes Risiko.
Was bedeutet das „mittlere Risiko“ für GPT-40?
Eine Regel der KI-Sicherheitsuntersuchung besagt, dass KI-Modell immer die Wertung bekommen, die dem höchsten Risiko in einer der vier Kategorien entspricht. Dementsprechend hat GPT-4o auch ein mittleres Risiko, obwohl es nur in einem Bereich teilweise in diese Wertungskategorie gerutscht ist. Ein echtes Risiko ist also nicht anzunehmen.
Die Sicherheitsregeln besagen nämlich ebenfalls, dass nur KI-Modelle mit der Wertung „mittleres Risiko“ oder niedriger überhaupt veröffentlicht werden können. Modelle mit der Wertung „hohes Risiko“ können zwar weiterentwickelt werden, müssen ihr Risiko aber senken. Wird beim Sicherheitstest festgestellt, dass ein KI-Modell ein „kritisches Risiko“ aufweist, darf die Entwicklung nicht fortgeführt werden.
