Ausschlagebend ist dafür der „Scheduler“, der dem Robot die Zeiteinteilung vorgibt. Hier gilt es anzusetzen, schreibt der SEO-Experte Eric Kubitz. Ziel muss es sein, den Crawler in möglichst kurzer Zeit alle relevanten Inhalten auf den verschiedenen Unterseiten zu präsentieren. Die folgenden Faktoren sollten dabei besonders berücksichtigt werden:
- schnelle Auslieferung aller Seiten
- neue und veränderte Inhalte sollten zuerst gecrawlt werden
- es folgen alle anderen wichtigen Seiten
- Duplicate Content sollte vermieden werden, weil sonst wichtige Zeit verschwendet wird
- gilt auch für überflüssige Seiten, wie Index- und gefilterte Seiten
- die wichtigen Informationen sollten auf allen Seiten schnell zu finden sein
Eric Kubitz gibt in seinem Artikel „Erweiterte Crawlability: Don’t waste robot-time!“ auch noch einige nützliche Tipps zur Verbesserung der „Crawlability“.





One answer
von XAVA 30.03.2010 (13:33Uhr) 1.
Wurde auch mal Zeit, dass die "Crawlability" in den Fokus rückt.
Ohne hin sollte die Onpageoptimierung wieder mehr in den Vordergrund rücken, denn diese wird und wurde nur all zu oft vernachlässigt.
Linkaufbau gehört mitlerweile natürlich ganz klar dazu, aber was bringt dieser, wenn die Seite nicht optimal ausgelesen wird?!
Gruß, Maximilian