t3n News Hardware

In der Hand der Roboter: Von Bots verursachter Web-Traffic steigt dramatisch

In der Hand der Roboter: Von Bots verursachter Web-Traffic steigt dramatisch

So manchen Website-Betreiber wird es überraschen: Bots sind für den Großteil des verursachten Traffics verantwortlich. Laut einer aktuellen entfallen nur 40 Prozent des Web-Traffics auf menschliche Besucher.

In der Hand der Roboter: Von Bots verursachter Web-Traffic steigt dramatisch

Bots auf dem Vormarsch (Bild: Meka Robotics)

Gute Bots, schlechte Bots

Die Wahrscheinlichkeit ist groß, dass Betreiber einer Website den Traffic auf ihrer Seite analysieren, um strategisch planen zu können. Laut einer Studie, die Incapsula zum Jahreswechsel veröffentlicht hat, werden allerdings 61,5 Prozent dieses Traffics von Bots verursacht – Bots, die nicht immer Gutes im Schilde führen.  Und: Im Vergleich zu 2012 hat der Anteil des Bot-Traffics um 21 Prozent zugenommen.

Laut Incapsula werden 31 Prozent des verursachten Traffics von Suchmaschinen und anderen gutartigen Bots verursacht. Einen ebenso großen Anteil verursachen allerdings bösartige Bots wie Spammer oder Hacking-Tools. Aufgrund der Penguin-Updates durch Google hat der von Spam-Bots verursachte Traffic jedoch von zwei Prozent in 2012 auf 0,5 Prozent in 2013 abgenommen. Basierend auf den erhobenen Daten geht Incapsula davon aus, dass es Google gelungen ist, automatisiertes Link-Spamming um etwa 75 Prozent einzudämmen. Um acht Prozent zugenommen hat dagegen der von Spionage-Bots und von anderer Malware verursachte Traffic.

Mehr Traffic von gutartigen Bots

Trotz des Geamtanstiegs von 21 Prozent hat sich der Anteil von bösartigem Bot-Traffic kaum verändert. Für den Anstieg zeichnen daher in erster Linie gutartige Bots verantwortlich, die 2013 etwa 31 Prozent des Traffics verursacht haben – 2012 lag der Anteil noch bei 20 Prozent. Die Verfasser der Studie haben dafür zwei Erklärungen: Zum einen habe man neuartige Bots identifiziert, die von SEO-Dienstleistern eingesetzt werden und die einer Website 30 bis 50 Visits am Tag abstatten. Zum anderen hätten sich die Besuchszyklen einiger Suchmaschinen-Crawler verkürzt.

Wichtig für Publisher und Werbetreibende: Der größte Teil des Bot-Traffics wird von allen gängigen Webanalyse-Diensten, AdServern und der IVW nicht mitgezählt.

Bots verursachten 2013 61,5 Prozent des gesamten Web-Traffics. (Bild: Incapsula)
Bots verursachten 2013 61,5 Prozent des gesamten Web-Traffics. (Grafik: Incapsula)
Newsletter

Bleibe immer up-to-date. Sichere dir deinen Wissensvorsprung!

Vorheriger Artikel Zurück zur Startseite Nächster Artikel
4 Antworten
  1. von Frank am 13.02.2014 (11:13 Uhr)

    Ich kann das Ansteigen der Botbesuche gut nachvollziehen, denn ich durfte mal für einen Kunden einen (guten) Bot weiter entwickeln. Am Anfang war der wohl nur für ein paar Hundert Seitenbesuche am Tag gemacht worden und kam daher sehr schnell an seine Grenzen. Der Kunde wollte immer mehr und immer schneller, so dass der Bot am Ende ca. 10 Millionen Seitenbesuche mit Auswertung am Tag schaffte. Das führte teils dazu, dass bei einigen Portalen der Bot in die DDoS oder Spam Falle geriet oder sogar deren Betreiber ihre Hardware aufrüsten mussten, um die Flut der Anfragen zu schaffen.

    Das Problem ist nicht der Kunde der immer mehr und immer schneller will, sondern der Anspruch der Leute, dass fast alles in "Echtzeit" geschehen soll und immer komfortabler sein muss.
    Zudem kommt, dass die Seiten mit den Jahren immer fetter wurden, also der Abruf immer mehr Speicherplatz benötigte. Waren es anfangs ein paar Kilobyte, waren es dann 1 MB bis mehrere MB pro Seite.

    Eine Lösung, das zu reduzieren wäre meiner Vermutung nach z.B., indem man die Abrufe "Just in Time" bewerkstelligt. Also dass nicht mehr auf Vorrat gespeichert wird, sondern die Daten nur dann geholt werden, wenn sie von einem Besucher angefordert werden. Bei Google geht das (noch) nicht, dazu ist das Web und die Menge der Besucheranfragen zu groß, aber bei spezialisierten Bots (die eine begrenzte Anzahl an Seiten oder Daten abrufen) könnte ich mir vorstellen, dass es mit akzeptabler Zeit möglich wäre.

    Antworten Teilen
  2. von boby am 14.02.2014 (08:45 Uhr)

    Ich glaube das trifft auf manche Business Webseiten zu für welche intensives Marketing betrieben wird und welche von Incapsula beobachtet wurden.
    Es wäre interessant den Bot-Traffic in relation zum gesamten Internet traffic zu betrachten.

    Antworten Teilen
  3. von BastianBalthasarBux am 14.02.2014 (11:09 Uhr)

    Todgespidert wurde ich auch schon mal bei einem Projekt.
    Gute bots halten sich übrigens an delay angaben in der robots.txt
    Schlecht bots werden von mir rigoros ausgesperrt. Derzeit werden es so an die 200 einträge sein (da sind auch wild-card einträge dabei), die mein webserver blockt.

    Antworten Teilen
  4. von Optimierung am 14.02.2014 (13:05 Uhr)

    Solche Themen werden halt ungern besprochen weil es um Optimierung geht und das ganz geheim gehalten wird.
    Aber schön wäre schon, wenn man z.B. php-Intrusion-Crawler u.ä. auf schwarze Listen packen und ein paar Stunden blocken könnte und deren Nummern an google, botwatch oder wer interesse hat verpetzt. Dann könnte man dem User statt Werbung Informationen einblenden das wohl sein Rechner gekapert wurde. Natürlich nur wenn genug seriöse Beschwerden wegen dieser Nummer in den letzten Stunden gezählt wurden.

    Für normale seriöse Bots müsste es halt Apache-Plugins geben wo man die nachrangig bedient oder sie nur gecachte Informationen kriegen und die Scripte/Datenbanken usw. nicht nochmal für den Bot abgefragt werden.
    Für manche Firmen ist es aber anscheinend wichtiger die Konkurrenz zu beobachten als sich um die eigenen Kunden zu kümmern und in den Logfiles z.B. nachzuschauen wonach die Leute suchen und ob sie es sofort finden oder sich einen Wolf suchen.
    RAM-Speicher-Hauptspeicher-DDR2-DDR3... oder Prozessor-Haswell-CPU-i3-Intel-AMD-Hauptprozessor... Hauptplatine-Mainboard-Board-Asus-Tyan-Elitegroup-... stehen oft nämlich nicht alle in den Produktbeschreibungen und Aliasse wären ganz gut sind aber eher selten weil zu wenig semantisch hinterlegt ist und oft nur Texte/Text-Teile gesucht werden.

    Antworten Teilen
Deine Meinung

Bitte melde dich an!

Du musst angemeldet sein, um einen Kommentar schreiben zu können.

Jetzt anmelden

Mehr zum Thema Studie
Digitalisierung als Arbeitskiller? Studie sieht nur wenige Berufe durch Roboter verschwinden
Digitalisierung als Arbeitskiller? Studie sieht nur wenige Berufe durch Roboter verschwinden

Die Digitalisierung gilt gemeinhin als ernste Gefährdung für eine Vielzahl an Berufen. Eine Studie räumt jetzt mit diesen Befürchtungen auf. Demnach arbeiten nur 0,4 Prozent der deutschen … » weiterlesen

Expertenwarnung: Warum ihr auf Sex in Roboter-Autos verzichten solltet
Expertenwarnung: Warum ihr auf Sex in Roboter-Autos verzichten solltet

Hände weg vom Steuer, Augen von der Fahrbahn und Zeit für etwas anderes: Ein kanadischer Regierungsberater warnt davor, dass es mehr Sex in selbstfahrenden Autos geben werde – mit … » weiterlesen

„Aufgaben gibt es genug auf der Welt, auch mit Robotern“ [#rpTEN]
„Aufgaben gibt es genug auf der Welt, auch mit Robotern“ [#rpTEN]

Diese Woche steigt in Berlin die zehnte re:publica. Hier wird heute auch Mads Pankow, Herausgeber vom „DIE EPILOG – Zeitschrift zum Gesellschaftswandel“, auf der Bühne stehen und über die … » weiterlesen

Alle Hefte Jetzt abonnieren – für nur 35 €

Kennst Du schon unser t3n Magazin?