Suchmaschinenoptimierung: Wie Unternehmen mit KI-Crawlern umgehen sollten

Generative KI braucht vor allem eins: Daten. Die stammen unter anderem von KI-Crawlern. Was Website-Betreibende wissen müssen und was dafür spricht, den Modellen die Daten zur Verfügung zu stellen. Ob beim Verfassen von Texten, der Erstellung von Keyword-Strategien oder beim Schreiben von E-Mails: Künstliche Intelligenz erleichtert den Arbeitsalltag. Auch in Search hat KI längst Einzug erhalten: sei es in Form von Suchen, die über ChatGPT und Co. abgerufen werden, oder über KI-gestützte Antwortformate wie die AI Overviews bei Google. Der Vorteil: Nutzende bekommen schnelle Antworten, die direkt auf ihre Fragen zugeschnitten sind. Herkömmliche Suchergebnisse hingegen beinhalten nur Websites oder Bilder und Videos, die das gefragte übergeordnete Thema behandeln. Auch Featured Snippets zeigen nur Ausschnitte aus vorhandenen Website-Inhalten. Sehr spezifische Suchanfragen können mithilfe von KI nun besser beantwortet werden, siehe Abbildung 1. [caption id="attachment_252934" align="alignnone" width="840"] Abbildung 1: Beispiel für eine sehr spezifische Suchanfrage, die von Google in den AI Overviews beantwortet wird. (Abbildungen: Google / t3n)[/caption] KI-Crawler sammeln Trainingsdaten Dass die KI spezifischere Antworten ausgeben kann, liegt daran, dass sie mit viel Wissen gespeist und auf Basis dieser Daten trainiert wurde. Dazu gehören ziemlich viele Websites, die von sogenannten KI-Crawlern ausgelesen wurden. Doch ist es für Website-Betreibende erstrebenswert, wenn sich KI mithilfe der eigenen Website trainiert beziehungsweise die Daten ausliest? Oder fängt die KI letztlich die potenziellen Nutzenden ab, weil sie die Fragen direkt in der Suche beantwortet, sodass Websites obsolet werden? [crosslinks ids="252864,252809,252818"] Crawler sind uns aus dem technischen SEO ein Begriff. Sie durchsuchen systematisch das World Wide Web, um Informationen zu sammeln. Nur wenn Inhalte gecrawlt werden, können Suchmaschinen sie indexieren und später in den Suchergebnissen ausspielen. KI-Crawler sind eine fortschrittlichere Version dieser traditionellen Crawler. Sie nutzen künstliche Intelligenz, um die Informationen nicht nur zu sammeln, sondern auch zu interpretieren und daraus neue Erkenntnisse zu gewinnen. Der KI-Crawler von Common Crawl hat in der Vergangenheit bereits große Teile des World Wide Web gecrawlt. Auf ihm basieren unter anderem Large Language Models (LLM) wie GPT-4 von OpenAI oder Googles Gemini. Neben den Inhalten des Common Crawls wurden die LLM aber auch mit anderen Daten wie Büchern oder wissenschaftlichen Artikeln trainiert. Drei verschiedene Funktionalitäten von KI-Crawlern Heutige KI-Chatbots können das Web live nach Informationen durchsuchen. Wenn man über KI-Crawler spricht, muss man also zwischen verschiedenen Funktionalitäten unterscheiden: LLM-Crawler greifen auf eine große Datenbasis zu und lernen so, eine Sprache zu verstehen. Sie eignen sich dadurch gut für Aufgaben, die viele Daten als Grundlage erfordern. Beispiele für diese Crawler sind CCBot, Google-Extended und GPTBot. RAG(Retrieval-Augmented Generation)-Crawler reichern die Sprache und das begrenzte Wissen, das die LLMs durch das Sprachtraining erhalten, mit aktuellem und tieferem Wissen an. Sie sind also in der Lage, neue Daten abzurufen. RAG-Crawler sind besonders hilfreich, wenn Inhalte mit aktuellem Bezug erstellt werden sollen. Beispiele für diese Crawler sind ChatGPT-User und PerplexityBot. Allgemeine Web-Crawler mit KI-Unterstützung sind traditionelle Web-Crawler, die vereinzelt auch für KI-Produkte genutzt werden. Beispiele sind Amazonbot und GoogleOther. [caption id="attachment_252933" align="alignnone" width="1200"] Abbildung 2: Beispiel für eine Suchanfrage, die von der KI nicht direkt beantwortet werden kann. (Abbildungen: Google / t3n)[/caption] Pro und Contra von KI-Crawlern Doch egal, welcher Crawler die eigene Website aufsucht, die grundsätzliche Frage ist: Führen KI-generierte Antworten zu weniger Traffic? Die Sorge ist sicherlich nicht ganz unbegründet. Denn einfache Suchanfragen werden künftig vermutlich direkt von KI beantwortet und bringen so weniger Traffic auf die Websites. Das ist jedoch keine neue Entwicklung, denn bereits seit der Einführung der Featured Snippets 2014 beantworten Suchmaschinen bestimmte Suchanfragen direkt. Die Frage nach der Alternative stellt sich heute ebenso wie zum Launch der Featured Snippets. Zwar kann man beeinflussen, ob die eigenen Inhalte in den KI-generierten Antworten ausgespielt werden, jedoch nicht, ob generell welche ausgespielt werden. Entscheidet man sich also dafür, seine Inhalte nicht von KI auslesen oder ausspielen zu lassen, tauchen für die betreffende Anfrage eben andere Brands oder Websites auf. Und das wiederum ist nicht nur schlecht für den eigenen Traffic, sondern auch die Markenbekanntheit. Wenn die eigene Webseite jedoch einzigartige Inhalte bereitstellt und Nutzende gezielt nach diesen Informationen suchen, dann kann die Seite tatsächlich weiterhin als einzig relevante Informationsquelle punkten – auch ohne KI-generierte Antworten. Textinhalte helfen bei manchen Suchanfragen nur bedingt Darüber hinaus sind komplexe Suchanfragen auch künftig kaum direkt in der Suche zu beantworten. Fragt man danach, wie ein Fahrrad repariert wird, helfen die Textinhalte nur bedingt, siehe Abbildung 2. Ein viel nützlicheres Ergebnis sind die in den Quellen verlinkten Videos auf der rechten Seite neben den AI Overviews oder aber die Videos, die unterhalb der AI Overviews ausgespielt werden. Denn nur so verstehen Nutzende wirklich, was zu tun ist. Das wiederum zeigt auf, warum es vorteilhaft sein kann, in den AI Overviews zu erscheinen. Da auch hier Quellen beziehungsweise Marken genannt werden, ist es auch weiterhin möglich, Traffic auf die eigene Website zu lenken oder zumindest Aufmerksamkeit zu generieren. Zu bedenken ist allerdings auch: Bei KI-Crawlern geht es nicht nur um die Frage der Verwendung der Daten. Ein nicht zu unterschätzender Aspekt ist die erhöhte Serverbelastung. Wer einmal einen Blick in die eigenen Logfiles wirft, erkennt, wie viele verschiedene Bots unterwegs sind. Einblick in eine interessante Stichprobe dazu, wie viele Crawler auf einer Website unterwegs sein können, gewährt unter anderem Cloudflare. Sollte man KI-Crawler aussperren? Beachtet man nun die genannten Vor- und Nachteile und berücksichtigt man die verschiedenen Arten von KI-Crawlern, ergeben sich mehrere Überlegungen. Hinsichtlich des Traffics ist es nicht sinnvoll, RAG-Crawler auszusperren. Diese kommen zumeist dann zum Einsatz, wenn auch Quellen genannt werden, wodurch wiederum eine Chance auf Traffic besteht. Es kann sinnvoll sein, LLM auszuschließen. Denn diese Crawler sind hauptsächlich dafür zuständig, Trainingsdaten zu generieren. Die meisten KI-generierten Antworten werden heutzutage aber ohnehin mit aktuellen Informationen der RAG-Crawler angereichert. [involveme ki] Marken-Websites sollten vermutlich alle Bots zulassen, da Brands auch in Antworten von nicht internetfähigen KI-Diensten genannt werden. Wenn man vor allem Inhalte Dritter bereitstellt, etwa als Marktplatz, kann es sinnvoll sein, Bots zu sperren, um die Serverlast zu reduzieren. Publisher ziehen keinen Nutzen daraus, ihre Inhalte für KI zugänglich zu machen, da sie in der Regel einzigartigen Inhalt produzieren und ihnen durch No-Click-Searches durchaus Traffic verloren gehen kann. Das funktioniert natürlich nur so lange, wie Wettbewerber den gleichen Weg gehen und KI-Bots ebenfalls ausschließen. [caption id="attachment_252932" align="alignnone" width="822"] Abbildung 3: Auszug aus der robots.txt von facebook.com, in der einige KI-Bots ausgesperrt werden. (Abbildung: Facebook / t3n)[/caption] Rechtliche Aspekte Rechtlich gesehen sollte sich für Webseite-Betreibende nichts ändern. Inhalte, die Google und Co. bislang crawlen konnten, waren frei zugänglich. Für sensible Daten gilt nach wie vor, dass sie vor den Crawlern geschützt werden sollten. Um das sicherzustellen, benötigen sensible Websitebereiche wie Nutzerkonten einen Passwortschutz, der sie vor unbefugten Zugriffen bewahrt. Technische Aspekte: Wie kann man KI-Crawler aussperren? Sollen die eigenen Inhalte nicht in KI-Antworten auftauchen, gibt es verschiedene technische Möglichkeiten, das umzusetzen. Ausschluss der KI-Crawler per robots.txt Jeder Crawler hat einen Namen, den sogenannten User-Agent. Zum einen lässt sich der Crawler anhand dieses Namens in den Logfiles identifizieren. Zum anderen ist über ihn steuerbar, welche Crawler auf die eigenen Inhalte zugreifen dürfen und welche nicht [siehe Abbildung 3]. Dafür baut man in die robots.txt der eigenen Website eine Anweisung ein. Will man beispielsweise den GPTBot von der gesamten Website aussperren, bindet man die folgende Anweisung in die robots.txt ein: User-agent: GPTBot Disallow: / Es ist ebenfalls möglich, nicht die gesamte Website, sondern nur einzelne URL oder Verzeichnisse auszusperren. Das kann etwa sinnvoll sein, wenn dort sensible Informationen zu finden sind. Meist werden diese dann auch für alle Bots gesperrt. User-agent: GPTBot Disallow: /verzeichnis-2/ Wer sich für diese Variante entscheidet, sollte regelmäßig die Logfiles überprüfen. Es kommen nämlich immer wieder neue Crawler hinzu, und nur über immer wieder vorgenommene Checks lässt sich auch wirklich sicherstellen, dass die relevantesten KI-Crawler gefunden wurden. Zu beachten ist dabei allerdings: Nicht alle Crawler halten sich tatsächlich an die Anweisungen in der robots.txt. Es bleibt also immer eine gewisse Unsicherheit, ob das Aussperren wirklich funktioniert. Serverseitiges Blockieren von IP-Adressen Wenn die IP-Adressen der KI-Crawler bekannt sind, können diese serverseitig gesperrt werden. OpenAI zum Beispiel gibt seine IP-Adressen preis: https://openai.com/gptbot.json. Das ist jedoch längst nicht bei allen KI-Crawlern der Fall, sodass diese Umsetzungsvariante limitiert ist. Ausspielung der Daten per Meta-Robots-Tag verhindern Der Meta-Robots-Tag „nosnippet“ sorgt dafür, dass für die betreffende URL insgesamt keine Daten in den Suchergebnissen angezeigt werden. Dazu gehören neben KI-generierten Antworten aber auch die normalen Suchergebnis-Snippets, Featured Snippets oder auch Google Discover. Dessen sollte man sich bewusst sein, wenn man sich für diese Blockier-Variante entscheidet. In der Regel kann das nur für sehr wenige ausgewählte URLs eine relevante Lösung sein. Fazit Die Entscheidung, ob KI-Crawler auf der eigenen Website zugelassen oder blockiert werden sollten, muss jedes Unternehmen selbst treffen. Es gibt kein eindeutiges Richtig oder Falsch. Wichtig ist, sich der Vor- und Nachteile bewusst zu sein, um sich grundsätzlich Gedanken darüber machen zu können, inwiefern sich KI-Crawler auf die eigene Situation auswirken können. Wer sich für eine Anpassung entscheidet und KI-Bot-Zugriffe blockiert, sollte die Auswirkungen anschließend engmaschig analysieren – etwa anhand von Traffic-Werten, Markenbekanntheit oder Zugriffszahlen der Bots. Im Zweifelsfall kann die Anpassung dieser technischen Einstellungen immer noch rückgängig gemacht werden. [author ssoId="aed5054c-3185-4bc2-884f-9cb414818d8d"]ist Head of SEO und Teamleitung Onpage bei Claneo, einer Search- und Content-Marketing-Agentur aus Berlin. Dort berät sie kund:innen in der Suchmaschinenoptimierung und führt technische und strategische Analysen durch. [/author] [author ssoId="13eb6c04-4849-4ef6-9cc7-20f8cb24dc56"]ist Senior SEO Automation und AI Strategist bei Claneo, spezialisiert auf die Förderung des organischen Wachstums internationaler Kunden durch den Einsatz fortschrittlicher Data-Science-Methoden und Ai-Tools. [/author]