Bei rechtlichen oder politischen Komplikationen, wenn beispielsweise Datenschutzbestimmungen nicht erfüllt werden können, kann es gut sein, dass der Zugriff auf eine Website aus bestimmten Ländern blockiert wird. Das allerdings heißt nicht, dass die Seiten nicht mehr in den SERP angezeigt werden, so John Müller, Search Advocate bei Google.
Google crawlt aus den USA
Auf Twitter fragte SEO Mike Blazer, ob eine Website aus den Google-Suchergebnissen eines Landes entfernt wird, wenn sie dort blockiert wurde und die Menschen keinen Zugriff darauf haben. Laut John Müller sei das in der Regel nicht der Fall, die einzige Ausnahme wäre, wenn die Seite aus diesem Land gecrawlt werden würde. Das ist aber nicht der Fall, der Großteil des Crawlings geschehe in den USA. Das wiederum heißt: Ist der Zugriff aus den USA blockiert, kann nur schwer gecrawlt oder indexiert werden. In dem Fall wäre es durchaus möglich, dass eine Seite aus den SERP entfernt wird – oder dort gar nicht erst auftaucht.
Regionales Crawling unwahrscheinlich
Auf Müllers Angabe antwortete @LordManley via Twitter, dass es eigentlich eine verpasste Gelegenheit sei. Würde das Crawling aus regionalen Rechenzentren erfolgen, könnten die SERP deutlich besser sein. Das sei aber, so Müller, nicht umsetzbar. Auf der einen Seite sei es schwierig genug, das Web von einer Stelle aus zu crawlen.
Regional zu crawlen sei schlicht nicht umsetzbar. Auf der anderen Seite würde es auch das Debugging deutlich erschweren: „Stell dir auch vor, zu debuggen, warum dein Server für den Googlebot aus Timbuktu nicht erreichbar ist“, schreibt Müller. Ein regionales Crawling wird es wahrscheinlich also in absehbarer Zeit nicht geben.