Anzeige
Anzeige
News
Artikel merken

Robots.txt und Homepage nicht verfügbar: Nach 30 Tagen wird nicht mehr gecrawlt

Wenn Google 30 Tage lang weder Website noch Robots.txt erreicht, beendet die Suchmaschine das Crawlen. Das geht jetzt aus der Google-Dokumentation hervor.

1 Min. Lesezeit
Anzeige
Anzeige
(Foto: charles taylor/Shutterstock)

Die Robots.txt-Datei ist eine Textdatei, die Anweisungen für Crawler zur Verfügung stellt. So werden Seiten, die nicht indexiert werden sollen, beispielsweise vom Crawling ausgeschlossen. Ist Robots.txt nicht abrufbar oder gibt es anderweitige Probleme, beeinflusst das, welche Seiten wie gecrawlt werden. Googles Dokumentation zum Crawl-Statusreport wurde nun aktualisiert – jetzt gibt es genauere Informationen, was bei einem Abruffehler von Robots.txt geschieht.

Änderungen in Googles Dokumentation zum Crawl-Statusreport

Anzeige
Anzeige

Der australische SEO-Experte Brodie Clark hat festgestellt, dass die Hilfe-Seite zum Bericht „Crawling-Statistik“ überarbeitet worden ist.

Seit dem neuen Update wird darauf hingewiesen, dass eine erfolgreiche Robots.txt-Response auch dann vorliegt, wenn der 404-Not-Found-Statuscode gesendet wird. Das ist dann das Signal, dass es keine Robots.txt gibt und deswegen alle URL gecrawlt werden können. Gibt es beim Abruf von Robots.txt keinen Erfolg, wird die Seite für die kommenden zwölf Stunden nicht gecrawlt. Stattdessen werden regelmäßige Requests für die Robots.txt-Datei gesendet. Nach zwölf Stunden wird für die weiteren 30 Tage die letzte erfolgreich angerufene Robots.txt-Datei zum Crawlen benutzt. Ist danach die Homepage abrufbar, wird ohne Einschränkungen gecrawlt, als gäbe es keine Robots.txt. Ist die Homepage nicht abrufbar, wird Google die Seite nach den 30 Tagen nicht mehr crawlen.

Anzeige
Anzeige

Update bringt mehr Klarheit

In der vorherigen Version hatte es geheißen, dass bei Schwierigkeiten beim Abruf der Robots.txt-Datei erneut die Robots.txt angefordert wird. Bei einem erneuten Fehlschlag würde Google sofort aufhören, zu crawlen. Nach 30 Tagen ohne erfolgreichen Request hatte es davon abgehangen, ob „die meisten anderen URL“ verfügbar seien oder ob die Seite „allgemein unzugänglich“ sei. Im letzteren Fall würde Google „langsam“ aufhören, zu crawlen.

Anzeige
Anzeige

Somit bringt das neue Update präzise Informationen, was geschieht, wenn die Robots.txt-Datei nicht abgerufen werden kann – und ab wann und unter welchen Bedingungen Google aufhört, zu crawlen.

Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Schreib den ersten Kommentar!
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige