So witzig kann die robots.txt-Datei sein
Die robots.txt-Datei geht auf das Robots-Exclusion-Standard-Protokoll zurück. Die Datei sagt dem Webcrawler von Google und anderen Bots, die das Web erfassen, welche Inhalte erfasst und welche nicht erfasst werden dürfen. Die robots.txt-Datei wird demnach in der Regel automatisch von Software-Programmen ausgewertet, und ist daher im Grunde nicht für die Augen von Menschen bestimmt. Trotzdem haben sich einige Website-Betreiber einen Spaß daraus gemacht, ihre robots.txt mit lustigen Texten oder ASCII-Bildchen auszuschmücken.
Viele dieser versteckten Nachrichten bleiben dem Dateinamen der robots.txt in sofern treu, als dass es sich um Anspielungen an bekannte Roboter handelt. So findet sich der Roboter Bender aus der beliebten Zeichentrickserie „Futurama“ in einer ganzen Reihe von robots.txt-Files. Auch Anspielungen an die von dem Science-Fiction-Autor Isaac Asimov aufgestellten Robotergesetze finden sich beispielsweise bei Yelp und LastFM.
Bildergalerie: Die witzigsten robots.txt-Dateien im Web
1 von 11
Welche Funktion robots.txt im Web spielt, und was SEOs darüber wissen müssen, haben wir euch in diesem Artikel erklärt. Dort findet ihr auch einige praktische Beispiele aus dem Alltag. Außerdem werden euch die wichtigsten Bots vorgestellt. Anhand des Textes solltet ihr schnell in der Lage sein, eure eigene robots.txt-Datei zu erstellen.
Ebenfalls spannend: In der Hand der Roboter – Von Bots verursachter Web-Traffic steigt dramatisch.
Bitte beachte unsere Community-Richtlinien