37 GB Traffic an einem Tag?

[Sven Rautenberg]

Moin!

Viel erstaunlicher ist allerdings, dass das Forum am 02.05.2003
an nur einem einzigen Tag sage und schreibe 37 GB Traffic hatte,
wie ist sowas möglich? Die meisten Tage im Mai liegen so zwischen
1 und 2 GB, wie kann da ein Tag derart extrem herausragen?

Das war ein unfreundlicher Suchspider.

Wie du der Liste der Liste der IP-Adressen entnehmen kannst, fällt eine ganz besonders durch hohen Traffic heraus: http://webalizer.teamone.de/selfforum/usage_200305.htm#TOPSITES

Und wie du der RIPE-Whois-DB entnehmen kannst http://www.ripe.net/perl/whois?form_type=simple&full_query_string=&searchtext=129.217.16.140&do_search=Search, gehört diese IP zur Uni Dortmund.

Und wenn du dich per Mail mit dem Hostmaster in Verbindung setzt, warum die denn das dreißigfache des normalen Traffics verursachen müssen, dann kommt als Antwort, dass man für irgendein Projekt eine neue, hochentwickelten Suchmaschine mit Spider basteln wird.

Und dann stellt man sich als Serverbetreiber die Frage, was die mit Version 0,1 des Spiders denn überhaupt wollen. Der kann kein gzip-Encoding, der überflutet unfreundlich fremde Server, und eine Entschuldigung kommt auch nicht.

Das ist aber nicht der erste Spider, der den Selfserver in einen Grenzbereich bringt, sowas kam in der Vergangenheit schon häufiger vor. Und wenn die Betreiber auf EMails nicht reagieren, wird die IP-Adresse halt einfach vom Zugriff ausgeschlossen - Pech eben, aber unumgänglich, um den regulären Betrieb aufrecht zu erhalten.

- Sven Rautenberg