Robots.txt und Homepage nicht verfügbar: Nach 30 Tagen wird nicht mehr gecrawlt
Die Robots.txt-Datei ist eine Textdatei, die Anweisungen für Crawler zur Verfügung stellt. So werden Seiten, die nicht indexiert werden sollen, beispielsweise vom Crawling ausgeschlossen. Ist Robots.txt nicht abrufbar oder gibt es anderweitige Probleme, beeinflusst das, welche Seiten wie gecrawlt werden. Googles Dokumentation zum Crawl-Statusreport wurde nun aktualisiert – jetzt gibt es genauere Informationen, was bei einem Abruffehler von Robots.txt geschieht.
Änderungen in Googles Dokumentation zum Crawl-Statusreport
Der australische SEO-Experte Brodie Clark hat festgestellt, dass die Hilfe-Seite zum Bericht „Crawling-Statistik“ überarbeitet worden ist.
Seit dem neuen Update wird darauf hingewiesen, dass eine erfolgreiche Robots.txt-Response auch dann vorliegt, wenn der 404-Not-Found-Statuscode gesendet wird. Das ist dann das Signal, dass es keine Robots.txt gibt und deswegen alle URL gecrawlt werden können. Gibt es beim Abruf von Robots.txt keinen Erfolg, wird die Seite für die kommenden zwölf Stunden nicht gecrawlt. Stattdessen werden regelmäßige Requests für die Robots.txt-Datei gesendet. Nach zwölf Stunden wird für die weiteren 30 Tage die letzte erfolgreich angerufene Robots.txt-Datei zum Crawlen benutzt. Ist danach die Homepage abrufbar, wird ohne Einschränkungen gecrawlt, als gäbe es keine Robots.txt. Ist die Homepage nicht abrufbar, wird Google die Seite nach den 30 Tagen nicht mehr crawlen.
Update bringt mehr Klarheit
In der vorherigen Version hatte es geheißen, dass bei Schwierigkeiten beim Abruf der Robots.txt-Datei erneut die Robots.txt angefordert wird. Bei einem erneuten Fehlschlag würde Google sofort aufhören, zu crawlen. Nach 30 Tagen ohne erfolgreichen Request hatte es davon abgehangen, ob „die meisten anderen URL“ verfügbar seien oder ob die Seite „allgemein unzugänglich“ sei. Im letzteren Fall würde Google „langsam“ aufhören, zu crawlen.
Somit bringt das neue Update präzise Informationen, was geschieht, wenn die Robots.txt-Datei nicht abgerufen werden kann – und ab wann und unter welchen Bedingungen Google aufhört, zu crawlen.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team