Das könnte dich auch interessieren

Du hast deinen AdBlocker an?

Es wäre ein Traum, wenn du ihn für t3n.de deaktivierst. Wir zeigen dir gerne, wie das geht. Und natürlich erklären wir dir auch, warum uns das so wichtig ist. Digitales High-five, deine t3n-Redaktion

Marketing

Google aktualisiert Richtlinien: Warum du deine robots.txt prüfen solltest

    Google aktualisiert Richtlinien: Warum du deine robots.txt prüfen solltest

Google ändert Guidelines. (Foto: kelvinjay - iStock.com)

Google hat am gestrigen Montag eine Änderung der „Webmaster Guidelines“ angekündigt. Demnach sollten Seitenbetreiber ab sofort sicherstellen, dass die robots.txt-Datei ihrer Website den Abruf von CSS- und Javascript-Dateien erlaubt – andernfalls drohen schlechtere Rankings.

Google modernisiert die eigenen Systeme und manifestiert jüngste Änderungen jetzt auch im Rahmen der technischen Webmaster Guidelines. Seitenbetreiber dürfen den Abruf von CSS- und Javascript-Dateien demnach nicht länger durch die robots.txt-Datei ihrer Websites einschränken. Sollten sie dieser Forderung nicht nachkommen, drohen schlechtere Rankings.

Google aktualisiert technische Webmaster-Richtlinien

Der Google-Bot hat ein Upgrade erhalten. (Grafik: google.com)
Der Google-Bot hat ein Upgrade erhalten. (Grafik: google.com)

In der Vergangenheit imitierten Googles Systeme beim Abruf von Websites textbasierte Browser. Die für das Design verantwortlichen Dateien, insbesondere CSS- und Javascript-Dateien, blieben laut offizieller Aussagen unangetastet. Erst seit Mai imitiert Google modernere Browser.

Im Kontext dieser Änderungen ist auch die gestern angekündigte Anpassung der technischen Webmaster-Richtlinien nachvollziehbar. Im dazu veröffentlichten Blogpost heißt es: „Wenn ihr das Crawling von JavaScript-oder CSS-Dateien in der robots.txt-Datei eurer Website nicht zulasst, wirkt sich dies unmittelbar auf die Darstellung und Indexierung eurer Inhalte durch unsere Algorithmen aus und kann zu schlechteren Rankings führen.“

Noch konkreter wird Google-Mitarbeiter Pierre Far, der auf Google+ schreibt: „Lasst mich deutlich machen, was das bedeutet: Wenn ihr das Crawling von CSS und Javascript blockt, schadet ihr aktiv der Indexierung eurer Website.“ Auch die mobile Seite sollten Seitenbetreiber bei einer etwaigen Umstellung nicht vergessen, ergänzt er wenig später.

So müssen Seitenbetreiber jetzt reagieren

Seitenbetreiber sollten entsprechend dieser Ankündigung und der Änderungen in den Richtlinien die robots.txt-Datei ihrer Websites prüfen. Hilfreich ist in diesem Zuge auch der sogenannte „Abruf wie durch Google“ in den Webmaster Tools. Er visualisiert den Abruf einer Website durch die Systeme von Google.

Ob eine ausbleibende Korrektur der robots.txt tatsächlich zu schlechteren Rankings führt, bleibt abzuwarten. Die Andeutung einer solch gravierenden Auswirkung dürfte in jedem Fall zu schnelleren Reaktionen seitens der Seitenbetreiber führen.

Finde einen Job, den du liebst zum Thema Android

Alle Jobs zum Thema Android
11 Reaktionen
Mike
Mike

Hallo zusammen,

ich habe dies mal über mein Webmaster tool testen lassen – folgendes kommt dabei raus:

“robots.txt Datei nicht gefunden (Fehler404)
Offenbar haben Sie keine robots.txt-Datei. In solchen Fällen gehen wir davon aus, dass es keine Beschränkungen gibt, und crawlen den gesamten Inhalt Ihrer Website. Weitere Informationen”

Bedeutet dies das garkeine robots Datei besteht? Muss eine erstellt werden?

Viele Grüße

Antworten
Lars Budde

Hallo Mike,

schau hierzu einfach mal in die Hilfe von Google, dort gibt es eine relativ klare Ansage. Ich zitiere: „Sie benötigen die robots.txt-Datei nur, wenn Ihre Website Inhalte aufweist, die nicht von Google oder anderen Suchmaschinen indexiert werden sollen. Wenn Google Ihre gesamte Website indexieren soll, erstellen Sie keine robots.txt-Datei – auch keine leere.“

Mehr dazu: https://support.google.com/webmasters/answer/6062608?hl=de

Viele Grüße,
Lars

Antworten
Mike
Mike

Hallo Lars,

vielen Dank für die Information - hat mir sehr geholfen! :)

Gruß

Artur
Artur

Danke für den Tipp. Ich denke, dass man da fast nichts falsch machen kann.

Antworten
Maxim
Maxim

Also bitte T3N - Mann kann sich auch Sensationen schaffen wo keine sind.

Für so eine Art unqualifizierte Panikmache seit ihr doch garnicht bekannt. Oder werdet ihr langsam zur Bild Zeitung der online Welt ?

Antworten
Björn Dorra

Es ist nichts neues, daß sich Google die JavaScript-Dateien und CSS-Dateien einer Website anschaut. Schliesslich finden sich in den JavaScript-Dateien Links auf weitere Seiten einer Website. In den CSS Dateien finden sich immer mehr die Referenzen zu Bildern, die auch in der Google Bilder-Suche verwendet werden.

Angefangen hat das natürlich auch, weil durch JavaScript und CSS die Darstellung einer Website maßgeblich beeinflusst wird. Hier war lange das größte Potential, für "böse" SEO-Optimierung. Und Google möchte schliesslich bestimmen, wie weit die "Optimierung" gehen darf.

Sorgen muss sich der "brave" Website-Betreieber kaum machen. Auch nicht über die zusätzlichen Abfragen. Google geht schon immer sehr "vorsichtig" beim crawlen vor. Wer mal gesehen hat, wieviele Anfragen gleichzeit auf eine Website einprasseln, wenn Yandex vorbeikommt, wird das bestätigen.

Generell ist es allen Webmastern zu empfehlen die Google Webmaster-Tools zu nutzen! Zumindest, wenn einem die Platzierung auf Google wichtig ist.

- Björn Dorra, Founder VersaCommerce.de

Antworten
Jens
Jens

Danke für den Tipp, das habe ich gleich mal umgesetzt.

Antworten
Kovah
Kovah

Gibt es überhaupt irgendeine Situation, in der man CSS/ JS per robots.txt aussperren sollte?

Antworten
Marcel
Marcel

Nein das macht keinen Sinn CSS/JS auszuschließen.
Tatsächlich haben wir im Zuge der SEO bei zahlreichen Kunden, die Joomla als CMS einsetzen, Disallow-Einträge auf die CSS, JS und sogar Images-Template-Ordner vorgefunden.
Ob das Standard-Einträge in der robots.txt von Joomla sind habe ich bislang nicht nachvollzogen, jedenfalls ist es grober Unfug.

Antworten
Markus F
Markus F

Sehr interessannter Beitrag, aber warum sollte man CSS und Javascript aussperren. Das macht meiner Meinung nach keinen Sinn.

Antworten

Melde dich mit deinem t3n-Account an oder fülle die unteren Felder aus.

Abbrechen