Das Ding ist nervig.
Am 25. hat es zwischen 9:52 und 10:07 meine kleine Webseite abgegrast.
Dabei hat es 9 Mal(!) die robots.txt geholt, aber konsequent ignoriert.
Jede andere Datei wurde mindestens zweimal hintereinander geholt.
Es scheint gerade so, als ob es die robots.txt nur holt um interessante Sachen zu finden, denn das einzige Bild das es sich geholt hat, war der durch robots.txt geblockte Counter.
nicht angemeldet