Anzeige
Anzeige
Ratgeber
Artikel merken

Logfile-Analysen im SEO: Wie verhalten sich Crawler wirklich auf meiner Website? (Teil 2)

Logfile-Analysen helfen Seitenbetreibern dabei, das Verhalten von Suchmaschinen-Crawlern auf Seiten zu untersuchen. Unser Gastautor erklärt, wie man bei diesen Analysen vorgeht.

Von Eduard Protzel
6 Min. Lesezeit
Anzeige
Anzeige

(Foto: Shutterstock / Dominik Bruhn)

Nach der grundsätzlichen Einleitung in den Hintergrund, Nutzen und die Aufbereitung von Logfiles für Logfile-Analysen im SEO geht es im zweiten Teil dieses Beitrages um die Analyse selbst. Die dargestellten Punkte sollen als grundsätzliche Ausgangsauswertungen angesehen werden. Je nach Website oder gefundenen Erkenntnissen empfiehlt es sich, tiefergehende Analysen zu erstellen. Trotzdem sind diese Punkte wichtige Eckpfeiler, die bei jeder Website betrachtet werden sollten und oftmals bereits wesentliche Einblicke über Crawling-Verhalten und Potenziale bilden können.

HTTP-Statuscodes in einer Logfile-Analyse

Anzeige
Anzeige

Statuscodes sind mitunter das Erste, was ein Crawler bei Abruf einer Seite als Antwort erhält. Dabei wird durch den Statuscode mitgeteilt, ob eine URL erreichbar ist, auf eine andere URL weiterleitet oder nicht mehr erreichbar ist. Die Auswertung der Statuscodes gibt dabei einen Überblick, ob potenzielle strukturelle Probleme bestehen, weil übermäßig viele URL mit einem anderen Statuscode als 200 aufgerufen werden oder auf den ersten Blick soweit alles in Ordnung ist.

Generell lautet das Ziel: Möglichst viele oder im Bestfall alle URL antworten mit einem Statuscode 200. Dieser besagt, dass der Aufruf erfolgreich bearbeitet wurde und die Antwort übertragen werden konnte. Da sich Webseiten aber verändern, Seiten entfernt oder auch weitergeleitet werden, ist das grundsätzlich absolut normal, wenn URL auch mit einem anderen Statuscode als 200 antworten. Jedoch ist die relative Menge der anders antwortenden URL von Bedeutung und kann Aufschluss über Probleme geben.

Anzeige
Anzeige

Der Statuscode 301 besagt, dass die aufgerufene URL permanent auf eine andere URL weitergeleitet wurde. Dieses Vorgehen ist üblich, wenn eine Webseite umgezogen wird oder einzelne Kategorien beziehungsweise Seiten auf neue Adressen weitergeleitet werden. Dabei ist es jedoch wichtig zu verstehen, dass jeder Aufruf einer weiterleitenden URL und der folgende Aufruf auf die eigentliche Ziel-URL, die mit 200 antwortet, in zwei einzelnen Aufrufen resultiert – der ersten URL mit 301 und der zweiten mit 200. Das Crawlbudget ist aber pro Webseite begrenzt. Das bedeutet, dass für den Aufruf einer URL zwei Zugriffe notwendig sind und sich das somit negativ auf das Crawlbudget niederschlagen kann. Manche Weiterleitungen lassen sich nicht umgehen und sind notwendig. Insbesondere bei der internen Verlinkung sollten jedoch nur URL mit einem Status Code 200 verwendet werden.

Anzeige
Anzeige

Der dritthäufigste auftretende oder auf den ersten Blick wichtigste Statuscode ist 404. Dieser besagt, dass eine URL beziehungsweise die angeforderte Ressource nicht gefunden werden kann. Generell ist es natürlich, dass durch die Entwicklung einer Website einige Seiten nicht mehr aufrufbar sind. Das können beispielweise nicht mehr wiederkehrende Produkte oder gelöschte Beiträge sein. Eine übermäßig hohe Anzahl an 404-Statuscodes im Verhältnis zu den gesamten Statuscodes kann aber auch auf strukturelle Probleme hinweisen.

Im Idealfall ist die Zahl der mit 404 antwortenden URL so gering wie möglich. Wenn die Ressource hinter einer URL langfristig nicht mehr vorhanden ist, empfiehlt sich der Einsatz des 410-Statuscode. Dieser weist Crawler daraufhin, dass der Inhalt nicht mehr wiederkehrt und verringert folglich das Crawling der URL. Bei einem 404-Statuscode kann eine URL noch lange Zeit weiterhin gecrawlt werden – je nach vorheriger Wichtigkeit, weil es nicht eindeutig ist, ob die Inhalte wieder verfügbar sein werden.

Anzeige
Anzeige

Weitere mögliche Statuscodes in einer Logfile-Analyse

Die folgende Abbildung zeigt einen Ausschnitt aus einer Google-Data-Studio-Lösung für die Analyse von Logfiles. Zu sehen ist: ein relativ normaler Verlauf von ausgegebenen Statuscodes mit temporären Anstiegen an einzelnen Tagen über den Zeitraum von knapp einem Monat innerhalb eines Shops. Sollten bei einer solchen Auswertung einzelne Statuscodes überwiegen, gilt es, die Herkunft dieser zu hinterfragen.

Statuscodes eines Logfiles in einer Google-Data-Studio-Lösung. (Screenshot: Google)

Neben den dargestellten Statuscodes gibt es noch eine Vielzahl weiterer möglicher Statuscodes, die mitunter von Bedeutung für SEO sein können, wie 302-Weiterleitungen (temporäre Weiterleitungen) oder 5xx-Statuscodes, die für Serverfehler stehen. Letztere können auch ein Indiz für Probleme mit der Serverarchitektur sein, die die Crawleffizienz verringern und auch für Nutzer problematisch sind.

Der 302-Statuscode kann ein größeres Problem darstellen. Zwar muss dieser manchmal sinngemäß für temporäre Weiterleitungen eingesetzt werden, wird aber auch für eigentlich permanente Weiterleitungen benutzt. Das Problem ist, dass dadurch Signale wie bestehende Rankings der originären URL nicht auf die neue Ziel-URL übertragen werden. Zusätzlich wird die Übertragung der internen Linkstärke gehemmt und im Zweifelsfalle gestoppt.

Anzeige
Anzeige

Parameter und ihre Bedeutung in Logfile-Analysen

Parameter werden häufig zur Generierung von speziellen Inhalten benutzt, wenn absolute URL nicht möglich sind, wie beispielweise bei gefilterten Seiten (Farb-, Preisfilter und ähnliches) oder internen Suchergebnisseiten. Generell gibt es eine Vielzahl von Einsatzgebieten von Parametern, zum Beispiel Tracking-Parameter – um den Ursprung eines internen oder externen Zugriffs zu überprüfen – oder für Seiten innerhalb einer Serie von Blätterseiten (Seite 1, Seite 2, Seite 3 und so weiter).

Grundsätzlich ist es für Suchmaschinen irrelevant, welche Zeichen in einer URL stehen. Jegliche Abweichungen wie Klein- und Großschreibung oder Sonderzeichen erzeugen zunächst eine eigenständige Adresse und werden auch so von Suchmaschinen verstanden. Das heißt, dass Crawler sie crawlen, um die dort auffindbaren Inhalte zu erfassen.

Da durch die Kombinationsmöglichkeiten einzelner URL und der Vielzahl von Parametern eine extrem hohe Menge von URL entstehen kann, gilt es, diesen Punkt zu überwachen. Jene URL müssen es in der Regel von der Indexierung ausgeschlossen werden, da sie oftmals nur doppelte Inhalte von bereits vorhandenen Seiten mit gegebenenfalls geringfügiger Änderung darstellen oder gar keine Suchmaschinenrelevanz haben. Selbst wenn diese URL von der Indexierung ausgeschlossen sind, kann die schiere Anzahl an möglichen URL die Crawleffizienz und das Crawling primärer Seiten einschränken.

Anzeige
Anzeige

Parameterauswertung mittels Google-Data-Studio-Lösung. (Screenshot: Google)

Zusätzliche Datenquellen zur Anreicherung von Logfiles

Die eben dargestellten Punkte, Statuscodes und Parameter stellen nur einen kleinen Auszug aus den möglichen Betrachtungen einer Logfile-Analyse dar. Abhängig von der Ausrichtung – wie E-Commerce oder Nachrichtenportal –, Content-Management-System und auch Größe kann jede Webseite ihre eigenen Besonderheiten mit sich führen. Diese gilt es auch bei Logfile-Analysen zu beachten. Allein der Blick in Logfiles wird selten entscheidende Erkenntnisse hervorbringen – der Zusammenhang zu der Architektur und Funktionsweise der Website ist immer essentiell. Nur mit gutem Verständnis der Website können tatsächliche Optimierungen aus einer Logfile-Analyse abgeleitet werden.

Weitere interessante Punkte in einer Logfile-Analyse können sein:

  • Crawlfrequenz: Wie häufig wird die Seite insgesamt gecrawlt? Gibt es Abweichungen auf einer Verzeichnisebene oder sonstige Peaks
  • Crawltiefe und gecrawlte Verzeichnisse: Werden die wichtigsten Verzeichnisse ausreichend gecrawlt?
  • Irrelevante URL/Ressourcen: Werden irrelevante URL häufig aufgerufen, wie beispielweise Funktionen, die zum Darstellen einer Seite überhaupt nicht benötigt werden oder den Seiteninhalt ändern?
  • Werden die URL aus der Sitemap gecrawlt und wenn ja wie häufig?
  • Untersuchung weiterer Bots: Wie crawlen Bing und andere Suchmaschinen die Webseite?

Darstellung der Anzahl aufgerufener URL in einem Logfile durch Google und Bing. Zusätzliche Darstellung einzigartig aufgerufener URL und URL, die von beiden gecrawlt wurden. (Screenshot: Builtvisible)

Abgesehen von den vielfältigen Möglichkeiten, die bereits die Daten der Logfiles bieten, kann man diese noch zusätzlich mit weiteren Daten anreichern. Die Möglichkeiten sind nahezu unendlich. Letztlich wird als Verbindungspunkt immer nur eine URL benötigt und diese schließlich bei sehr vielen Datenquellen beziehungsweise Toolanbietern bereitgestellt. Je nach Analyseziel können sich Traffic-Daten aus Web-Analyse-Tools wie Google Search Console oder Analytics Crawl-Daten respektive Daten über vorhandene Backlinks hinzuziehen, um weitere Rückschlüsse über das Crawling-Verhalten zu gewinnen.

Anzeige
Anzeige

Mobile-First-Index und Logfile-Analysen

Ein interessanter Aspekt ist darüber hinaus der Mobile-First-Index. Hintergrund ist, dass Google in naher Zukunft statt der Desktop-Seite die Mobile-Seite zur Bewertung präferieren wird.

Darstellung des Indexierungsverhaltens von Google beim aktuellen Desktop-First-Indexing und folgendem Mobile-First-Indexing. (Grafik: Moz.com)

Laut John Müller lässt sich anhand der Logfiles bereits erkennen, ob Google die Website im Zuge des Mobile-First-Index häufiger crawlt. Das übliche Verhältnis zwischen mobilem und Desktop-Useragent ist 1:4, solange die Website noch nach altem Muster gecrawlt wird. Bei Websites, die bereits nach dem neuen Muster gecrawlt werden, soll sich dieses Verhältnis jedoch deutlich ändern und die Zugriffe mittels mobilem Useragent den größeren Anteil ausmachen.

Fazit

Logfile-Analysen sind ein sehr gutes Mittel, um präzise Analysen über Crawl-Verhalten, Crawling-Fehler und Ableitungen zum Verständnis der Website-Architektur durch Crawler zu erstellen. Während die Google Search Console beispielweise nur einen rudimentären Blick in mögliche Crawling-Fehler ermöglicht, können mit Logfile-Analysen detaillierte Betrachtungen erzeugt werden. Es ist jedoch wichtig, sich nicht zu sehr in den Logfiles zu verlieren und diese immer in Relation zu der Website, den Potenzialen und Herausforderungen zu stellen. Eine sehr granulare Optimierung des Crawlings ist nicht immer zielführend. Insbesondere wenn zahlreiche Ressourcen aufgewendet werden müssen, die die Optimierung zwar aus SEO-Sicht optimal machen aber einfach nicht mehr wirtschaftlich sind.

Anzeige
Anzeige

Letztlich sind Logfile-Analysen ein wichtiger Bestandteil technischer SEO-Analysen und sollten entsprechend genutzt werden, um die größtmögliche Basis an Informationen für ganzheitliche Analysen bereitstellen zu können.

Mehr zu diesem Thema
SEO
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Schreib den ersten Kommentar!
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige