t3n News Marketing

Google aktualisiert Richtlinien: Warum du deine robots.txt prüfen solltest

Google aktualisiert Richtlinien: Warum du deine robots.txt prüfen solltest

hat am gestrigen Montag eine Änderung der „Webmaster Guidelines“ angekündigt. Demnach sollten Seitenbetreiber ab sofort sicherstellen, dass die robots.txt-Datei ihrer Website den Abruf von CSS- und Javascript-Dateien erlaubt – andernfalls drohen schlechtere Rankings.

Google aktualisiert Richtlinien: Warum du deine robots.txt prüfen solltest

Google ändert Guidelines. (Foto: kelvinjay - iStock.com)

Google modernisiert die eigenen Systeme und manifestiert jüngste Änderungen jetzt auch im Rahmen der technischen Webmaster Guidelines. Seitenbetreiber dürfen den Abruf von CSS- und Javascript-Dateien demnach nicht länger durch die robots.txt-Datei ihrer Websites einschränken. Sollten sie dieser Forderung nicht nachkommen, drohen schlechtere Rankings.

Google aktualisiert technische Webmaster-Richtlinien

Der Google-Bot hat ein Upgrade erhalten. (Grafik: google.com)
Der Google-Bot hat ein Upgrade erhalten. (Grafik: google.com)

In der Vergangenheit imitierten Googles Systeme beim Abruf von Websites textbasierte Browser. Die für das Design verantwortlichen Dateien, insbesondere CSS- und Javascript-Dateien, blieben laut offizieller Aussagen unangetastet. Erst seit Mai imitiert Google modernere Browser.

Im Kontext dieser Änderungen ist auch die gestern angekündigte Anpassung der technischen Webmaster-Richtlinien nachvollziehbar. Im dazu veröffentlichten Blogpost heißt es: „Wenn ihr das Crawling von JavaScript-oder CSS-Dateien in der robots.txt-Datei eurer Website nicht zulasst, wirkt sich dies unmittelbar auf die Darstellung und Indexierung eurer Inhalte durch unsere Algorithmen aus und kann zu schlechteren Rankings führen.“

Noch konkreter wird Google-Mitarbeiter Pierre Far, der auf Google+ schreibt: „Lasst mich deutlich machen, was das bedeutet: Wenn ihr das Crawling von und blockt, schadet ihr aktiv der Indexierung eurer Website.“ Auch die mobile Seite sollten Seitenbetreiber bei einer etwaigen Umstellung nicht vergessen, ergänzt er wenig später.

So müssen Seitenbetreiber jetzt reagieren

Seitenbetreiber sollten entsprechend dieser Ankündigung und der Änderungen in den Richtlinien die robots.txt-Datei ihrer Websites prüfen. Hilfreich ist in diesem Zuge auch der sogenannte „Abruf wie durch Google“ in den Webmaster Tools. Er visualisiert den Abruf einer Website durch die Systeme von Google.

Ob eine ausbleibende Korrektur der robots.txt tatsächlich zu schlechteren Rankings führt, bleibt abzuwarten. Die Andeutung einer solch gravierenden Auswirkung dürfte in jedem Fall zu schnelleren Reaktionen seitens der Seitenbetreiber führen.

Newsletter

Bleibe immer up-to-date. Sichere dir deinen Wissensvorsprung!

Vorheriger Artikel Zurück zur Startseite Nächster Artikel
11 Antworten
  1. von Markus F am 28.10.2014 (14:58 Uhr)

    Sehr interessannter Beitrag, aber warum sollte man CSS und Javascript aussperren. Das macht meiner Meinung nach keinen Sinn.

    Antworten Teilen
  2. von Kovah am 28.10.2014 (16:01 Uhr)

    Gibt es überhaupt irgendeine Situation, in der man CSS/ JS per robots.txt aussperren sollte?

    Antworten Teilen
  3. von Jens am 28.10.2014 (21:24 Uhr)

    Danke für den Tipp, das habe ich gleich mal umgesetzt.

    Antworten Teilen
  4. von Björn Dorra am 29.10.2014 (09:23 Uhr)

    Es ist nichts neues, daß sich Google die JavaScript-Dateien und CSS-Dateien einer Website anschaut. Schliesslich finden sich in den JavaScript-Dateien Links auf weitere Seiten einer Website. In den CSS Dateien finden sich immer mehr die Referenzen zu Bildern, die auch in der Google Bilder-Suche verwendet werden.

    Angefangen hat das natürlich auch, weil durch JavaScript und CSS die Darstellung einer Website maßgeblich beeinflusst wird. Hier war lange das größte Potential, für "böse" SEO-Optimierung. Und Google möchte schliesslich bestimmen, wie weit die "Optimierung" gehen darf.

    Sorgen muss sich der "brave" Website-Betreieber kaum machen. Auch nicht über die zusätzlichen Abfragen. Google geht schon immer sehr "vorsichtig" beim crawlen vor. Wer mal gesehen hat, wieviele Anfragen gleichzeit auf eine Website einprasseln, wenn Yandex vorbeikommt, wird das bestätigen.

    Generell ist es allen Webmastern zu empfehlen die Google Webmaster-Tools zu nutzen! Zumindest, wenn einem die Platzierung auf Google wichtig ist.

    - Björn Dorra, Founder VersaCommerce.de

    Antworten Teilen
  5. von Maxim am 29.10.2014 (09:52 Uhr)

    Also bitte T3N - Mann kann sich auch Sensationen schaffen wo keine sind.

    Für so eine Art unqualifizierte Panikmache seit ihr doch garnicht bekannt. Oder werdet ihr langsam zur Bild Zeitung der online Welt ?

    Antworten Teilen
  6. von Artur am 29.10.2014 (12:32 Uhr)

    Danke für den Tipp. Ich denke, dass man da fast nichts falsch machen kann.

    Antworten Teilen
  7. von Mike am 30.10.2014 (12:07 Uhr)

    Hallo zusammen,

    ich habe dies mal über mein Webmaster tool testen lassen – folgendes kommt dabei raus:

    “robots.txt Datei nicht gefunden (Fehler404)
    Offenbar haben Sie keine robots.txt-Datei. In solchen Fällen gehen wir davon aus, dass es keine Beschränkungen gibt, und crawlen den gesamten Inhalt Ihrer Website. Weitere Informationen”

    Bedeutet dies das garkeine robots Datei besteht? Muss eine erstellt werden?

    Viele Grüße

    Antworten Teilen
    • von Lars Budde am 30.10.2014 (12:26 Uhr)

      Hallo Mike,

      schau hierzu einfach mal in die Hilfe von Google, dort gibt es eine relativ klare Ansage. Ich zitiere: „Sie benötigen die robots.txt-Datei nur, wenn Ihre Website Inhalte aufweist, die nicht von Google oder anderen Suchmaschinen indexiert werden sollen. Wenn Google Ihre gesamte Website indexieren soll, erstellen Sie keine robots.txt-Datei – auch keine leere.“

      Mehr dazu: https://support.google.com/webmasters/answer/6062608?hl=de

      Viele Grüße,
      Lars

      Antworten Teilen
Deine Meinung

Bitte melde dich an!

Du musst angemeldet sein, um einen Kommentar schreiben zu können.

Jetzt anmelden

Mehr zum Thema Google
Tooltips ohne JavaScript: Das kann Hint.css 2.0
Tooltips ohne JavaScript: Das kann Hint.css 2.0

Mit Hint.css baut ihr ganz ohne Javascript schicke Tooltips in eure Web-Apps ein. Wir werfen einen kurzen Blick auf Version 2.0 der Library. » weiterlesen

Redundant und riesengroß: CSS Purge zeigt die schlimmsten CSS-Sünder
Redundant und riesengroß: CSS Purge zeigt die schlimmsten CSS-Sünder

Im besten Fall sorgen CSS für kompaktes und gekapseltes Styling für Webseiten. Im Schlimmsten Fall wird CSS zur Hölle in Sachen Übersichtlichkeit und Redundanz. CSS Purge zeigt, welche Seiten die … » weiterlesen

20 CSS-Cursor-Eigenschaften für bessere Usability
20 CSS-Cursor-Eigenschaften für bessere Usability

Schon mal darüber nachgedacht, den Cursor deinem Design anzupassen? Wir haben einige Beispiele rausgesucht, wie du mit dem Cursor deine Usability noch besser machen kannst. » weiterlesen

Alle Hefte Jetzt abonnieren – für nur 35 €

Kennst Du schon unser t3n Magazin?