Im Blog von Google Inside erklärt der Chef-Suchmaschinenoptimierer von Google, Matt Cutts, wie genau eigentlich die Datei „robots.txt“ funktioniert. Google bekomme immer wieder Beschwerden von Webseitenbetreibern, die ihre Seiten für die Suchmaschinen-Crawler von Google gesperrt hätten, diese dann aber doch in den Suchergebnislisten von Google finden.
Warum diese Seiten trotzdem im Index sind, obwohl sie von den Crawlern nicht erfasst wurden, erklärt Cutts in diesem Video:
RSS-Feed
Twitter
[...] einen Artikel im t3n-Magazin fand ich das nachfolgende Youtube-Video, in dem der Chef-Suchmaschinenoptimierer von [...]