Das Versprechen von KI-Agenten ist, dass die Programme uns mehrteilige Aufgaben abnehmen und wir uns in der Zeit anderen Dingen widmen können. Wie gut das schon heute funktioniert und wo KI-Agenten aktuell noch scheitern, erfahrt ihr in unserem Trendreport. Schon jetzt gibt es aber erste Vorboten von größeren Problemen – nicht nur für einzelne Personen, sondern womöglich für das gesamte Internet.

Davon geht zumindest Gary Illyes aus, der bei Googles Search-Team als Analyst arbeitet. Im Podcast „Search Off the Record“ sprach er mit seinem Kollegen Martin Splitt zunächst darüber, wie der Google-Crawler funktioniert, der Webseiten nach Inhalten durchforstet. Dabei kamen die beiden auch auf KI-Agenten zu sprechen. Illyes befürchtet, dass KI-Agenten das Internet im großen Stil nach Daten durchforsten und damit für Probleme sorgen.

„Das Internet wird verstopft. Das liegt daran, dass jeder und auch meine Großmutter einen eigenen Crawler startet. Dadurch gibt es mehr automatischen Traffic von KI-Agenten und anderen KI-Spielereien“. Illyes ergänzt: „Das ist nichts, was das Internet nicht handhaben könnte. Es wurde so entworfen, Traffic auszuhalten, auch wenn dieser automatisch ist. […] Aber manche wollen das gesamte Internet in nur 25 Sekunden crawlen und überfordern damit eure Server.“

Laut Illyes ist das eigentliche Crawling der KI-Agenten dabei nicht ausschließlich für die Überlastung des Internets verantwortlich: „Vermutlich werde ich dafür im Internet angeschrien. Aber es ist nicht das Crawling, das die Ressourcen auffrisst. Es ist das Indexieren und was ihr mit den Daten machen müsst, um sie zu verarbeiten. Das ist teuer und ressourcenintensiv. […] Ihr habt an einer Stelle sieben Byte an Anfragen gespart, aber diese neuen Produkte sorgen dafür, dass acht Byte gespeichert werden müssen“. Das würde also dazu führen, dass Server überlastet werden – und dadurch der Zugriff für menschliche Internetnutzer:innen verlangsamt wird.

Das Search Engine Journal hat zusammengetragen, welche Maßnahmen Website-Betreiber:innen schon jetzt ergreifen können, um sich gegen die Belastung durch KI-Agenten zu schützen. So sollten sie ihre Serverinfrastruktur überprüfen, den Zugriff auf ihre Website durch die robots.txt weiter einschränken und den eingehenden Traffic genau überprüfen. So können unerlaubte KI-Agenten und Crawler womöglich davon abgehalten werden, die eigene Seite durch unzählige Zugriffe langsamer zu überlasten.