Die robots.txt-Datei geht auf das Robots-Exclusion-Standard-Protokoll zurück. Die Datei sagt dem Webcrawler von Google und anderen Bots, die das Web durchpflügen, welche Inhalte erfasst und welche nicht erfasst werden sollen. Die robots.txt-Datei wird demnach in der Regel automatisch von Software-Programmen ausgewertet und ist daher im Grunde nicht für die Augen von Menschen bestimmt. Trotzdem machen sich Website-Betreiber immer wieder einen Spaß daraus, ihre robots.txt mit lustigen Texten oder ASCII-Bildchen auszuschmücken.

Viele dieser versteckten Nachrichten bleiben dem Dateinamen der robots.txt insofern treu, als es sich um Anspielungen an bekannte Roboter handelt. So findet sich der Roboter Bender aus der beliebten Zeichentrickserie Futurama in einer ganzen Reihe von robots.txt-Files. Auch Anspielungen an die von dem Science-Fiction-Autor Isaac Asimov aufgestellten Robotergesetze finden sich beispielsweise bei Yelp und LastFM.

Andere greifen generelle Internet-Phänomene wie Keyboard-Cat auf, während Firmen wie Nike oder Starbucks darin ihr Firmenlogo oder andere Hinweise zum eigenen Unternehmen verstecken. Ebenfalls beliebt sind Hinweise zu offenen Stellen im Unternehmen. Schließlich zeigt das Herumstöbern in der robots.txt auch ein ungewöhnlich hohes Interesse an einer Website.

Ebenfalls interessant:

• Was ist eigentlich die Robots.txt-Datei?
• Was ein SEO über die robots.txt wissen sollte
• t3n SEO-Check: 4 Wege, Google-Rankings zu verhindern