Du hast deinen AdBlocker an?

Es wäre ein Traum, wenn du ihn für t3n.de deaktivierst. Wir zeigen dir gerne, wie das geht. Und natürlich erklären wir dir auch, warum uns das so wichtig ist. Digitales High-five, deine t3n-Redaktion

Gadgets & Lifestyle

In der Hand der Roboter: Von Bots verursachter Web-Traffic steigt dramatisch

    In der Hand der Roboter: Von Bots verursachter Web-Traffic steigt dramatisch

Bots auf dem Vormarsch (Bild: Meka Robotics)

So manchen Website-Betreiber wird es überraschen: Bots sind für den Großteil des verursachten Traffics verantwortlich. Laut einer aktuellen Studie entfallen nur 40 Prozent des Web-Traffics auf menschliche Besucher.

Gute Bots, schlechte Bots

Die Wahrscheinlichkeit ist groß, dass Betreiber einer Website den Traffic auf ihrer Seite analysieren, um strategisch planen zu können. Laut einer Studie, die Incapsula zum Jahreswechsel veröffentlicht hat, werden allerdings 61,5 Prozent dieses Traffics von Bots verursacht – Bots, die nicht immer Gutes im Schilde führen.  Und: Im Vergleich zu 2012 hat der Anteil des Bot-Traffics um 21 Prozent zugenommen.

Laut Incapsula werden 31 Prozent des verursachten Traffics von Suchmaschinen und anderen gutartigen Bots verursacht. Einen ebenso großen Anteil verursachen allerdings bösartige Bots wie Spammer oder Hacking-Tools. Aufgrund der Penguin-Updates durch Google hat der von Spam-Bots verursachte Traffic jedoch von zwei Prozent in 2012 auf 0,5 Prozent in 2013 abgenommen. Basierend auf den erhobenen Daten geht Incapsula davon aus, dass es Google gelungen ist, automatisiertes Link-Spamming um etwa 75 Prozent einzudämmen. Um acht Prozent zugenommen hat dagegen der von Spionage-Bots und von anderer Malware verursachte Traffic.

Mehr Traffic von gutartigen Bots

Trotz des Geamtanstiegs von 21 Prozent hat sich der Anteil von bösartigem Bot-Traffic kaum verändert. Für den Anstieg zeichnen daher in erster Linie gutartige Bots verantwortlich, die 2013 etwa 31 Prozent des Traffics verursacht haben – 2012 lag der Anteil noch bei 20 Prozent. Die Verfasser der Studie haben dafür zwei Erklärungen: Zum einen habe man neuartige Bots identifiziert, die von SEO-Dienstleistern eingesetzt werden und die einer Website 30 bis 50 Visits am Tag abstatten. Zum anderen hätten sich die Besuchszyklen einiger Suchmaschinen-Crawler verkürzt.

Wichtig für Publisher und Werbetreibende: Der größte Teil des Bot-Traffics wird von allen gängigen Webanalyse-Diensten, AdServern und der IVW nicht mitgezählt.

Bots verursachten 2013 61,5 Prozent des gesamten Web-Traffics. (Bild: Incapsula)
Bots verursachten 2013 61,5 Prozent des gesamten Web-Traffics. (Grafik: Incapsula)

Finde einen Job, den du liebst

4 Reaktionen
Optimierung
Optimierung

Solche Themen werden halt ungern besprochen weil es um Optimierung geht und das ganz geheim gehalten wird.
Aber schön wäre schon, wenn man z.B. php-Intrusion-Crawler u.ä. auf schwarze Listen packen und ein paar Stunden blocken könnte und deren Nummern an google, botwatch oder wer interesse hat verpetzt. Dann könnte man dem User statt Werbung Informationen einblenden das wohl sein Rechner gekapert wurde. Natürlich nur wenn genug seriöse Beschwerden wegen dieser Nummer in den letzten Stunden gezählt wurden.

Für normale seriöse Bots müsste es halt Apache-Plugins geben wo man die nachrangig bedient oder sie nur gecachte Informationen kriegen und die Scripte/Datenbanken usw. nicht nochmal für den Bot abgefragt werden.
Für manche Firmen ist es aber anscheinend wichtiger die Konkurrenz zu beobachten als sich um die eigenen Kunden zu kümmern und in den Logfiles z.B. nachzuschauen wonach die Leute suchen und ob sie es sofort finden oder sich einen Wolf suchen.
RAM-Speicher-Hauptspeicher-DDR2-DDR3... oder Prozessor-Haswell-CPU-i3-Intel-AMD-Hauptprozessor... Hauptplatine-Mainboard-Board-Asus-Tyan-Elitegroup-... stehen oft nämlich nicht alle in den Produktbeschreibungen und Aliasse wären ganz gut sind aber eher selten weil zu wenig semantisch hinterlegt ist und oft nur Texte/Text-Teile gesucht werden.

Antworten
BastianBalthasarBux
BastianBalthasarBux

Todgespidert wurde ich auch schon mal bei einem Projekt.
Gute bots halten sich übrigens an delay angaben in der robots.txt
Schlecht bots werden von mir rigoros ausgesperrt. Derzeit werden es so an die 200 einträge sein (da sind auch wild-card einträge dabei), die mein webserver blockt.

Antworten
boby
boby

Ich glaube das trifft auf manche Business Webseiten zu für welche intensives Marketing betrieben wird und welche von Incapsula beobachtet wurden.
Es wäre interessant den Bot-Traffic in relation zum gesamten Internet traffic zu betrachten.

Antworten
Frank

Ich kann das Ansteigen der Botbesuche gut nachvollziehen, denn ich durfte mal für einen Kunden einen (guten) Bot weiter entwickeln. Am Anfang war der wohl nur für ein paar Hundert Seitenbesuche am Tag gemacht worden und kam daher sehr schnell an seine Grenzen. Der Kunde wollte immer mehr und immer schneller, so dass der Bot am Ende ca. 10 Millionen Seitenbesuche mit Auswertung am Tag schaffte. Das führte teils dazu, dass bei einigen Portalen der Bot in die DDoS oder Spam Falle geriet oder sogar deren Betreiber ihre Hardware aufrüsten mussten, um die Flut der Anfragen zu schaffen.

Das Problem ist nicht der Kunde der immer mehr und immer schneller will, sondern der Anspruch der Leute, dass fast alles in "Echtzeit" geschehen soll und immer komfortabler sein muss.
Zudem kommt, dass die Seiten mit den Jahren immer fetter wurden, also der Abruf immer mehr Speicherplatz benötigte. Waren es anfangs ein paar Kilobyte, waren es dann 1 MB bis mehrere MB pro Seite.

Eine Lösung, das zu reduzieren wäre meiner Vermutung nach z.B., indem man die Abrufe "Just in Time" bewerkstelligt. Also dass nicht mehr auf Vorrat gespeichert wird, sondern die Daten nur dann geholt werden, wenn sie von einem Besucher angefordert werden. Bei Google geht das (noch) nicht, dazu ist das Web und die Menge der Besucheranfragen zu groß, aber bei spezialisierten Bots (die eine begrenzte Anzahl an Seiten oder Daten abrufen) könnte ich mir vorstellen, dass es mit akzeptabler Zeit möglich wäre.

Antworten

Melde dich mit deinem t3n-Account an oder fülle die unteren Felder aus.

Abbrechen