Sogenannte KI-Scraper oder KI-Crawler durchforsten das Internet und kopieren frei zugängliche Inhalte. Die so gesammelten Daten werden dann für das Training weiterer KI-Modelle genutzt. Diese KI-Scraper sind aber vielen Website-Betreiber:innen ein Dorn im Auge. Schließlich nutzen sie einfach Inhalte, ohne die Erlaubnis dafür einzuholen. So ging es auch dem Programmierer Xe Iaso.

Er berichtete schon im Januar 2025, dass ein Amazon-Bot so oft seine eigens gehostete Github-Seite aufrief, dass seine Server im Hintergrund durch den DDoS-ähnlichen Angriff in die Knie gingen. Deshalb hat sich der Programmierer aber eine Lösung ausgedacht, um KI-Scraper zuverlässig von Seiten auszusperren, ohne dabei die Performance für menschliche User:innen zu reduzieren.

Um das zu erreichen, hat er das Tool namens Anubis geschaffen. Gegenüber Techcrunch verriet er, dass der Name auf dem ägyptischen Gott basiert, der die Toten beurteilt: „Anubis hat das Herz der Toten gemessen und wenn es schwerer als eine Feder war, wurde das Herz gegessen“. Das Wiegen des Herzens sollte laut ägyptischer Mythologie zeigen, wie schwer die Seele der Toten war. Das Tool namens Anubis beurteilt hingegen User:innen, ob sie ein KI-Scraper sind oder nicht.

In seinem Blog schreibt Iaso dazu, dass Anubis einigen Clients, die seine Github-Seite ansurfen, eine Aufgabe stellt. Dabei handelt es sich um eine mathematische Gleichung, die über Javascript gelöst werden soll. Da die meisten KI-Scraper nicht in der Lage sind, Javascript auszuführen, scheitern sie an der Aufgabe und werden ausgesperrt. Wenn Clients von User:innen die Herausforderung schaffen, wird die Lösung für eine Woche lokal gespeichert. Dementsprechend muss sie für sieben Tage nicht wiederholt werden.

Bei der Auswahl der geprüften Clients gibt es laut Iaso einen einfachen Trick. Demnach haben nahezu alle KI-Scraper einen User-Agent-String, der „Mozilla“ als Begriff in sich trägt. So muss Anubis nicht einmal auf spezielle KI-Scraper konfiguriert werden, sondern kann einen Großteil von ihnen von Anfang an erkennen und durch den Test aussperren. Dennoch gibt Iaso auch ein paar Probleme bei dieser Methode zu.

So betont er, dass sämtliche User:innen, die Javascript in ihrem Browser deaktiviert haben, ebenfalls ausgesperrt werden. Zudem werden die Seiten, die durch Anubis geschützt werden, nicht durch Suchmaschinen indexiert. Damit ist der Programmierer zwar nicht hundertprozentig zufrieden, doch er sieht aktuell keine andere Möglichkeit, sich gegen KI-Scraper effektiv zu schützen.