nicht angemeldet
Moin!
Das Ding ist nervig.
In der Tat. Bei mir hat es immerhin knapp 100 HTTP 404er erzeugt, weil es Probleme mit relativen Pfaden hat.
Dabei hat es 9 Mal(!) die robots.txt geholt, aber konsequent ignoriert.
Ja, die robots.txt ist nur eine Empfehlung an „freundliche Bots“.
Jede andere Datei wurde mindestens zweimal hintereinander geholt.
Richtig, das kann ich auch bestätigen.
Es scheint gerade so, als ob es die robots.txt nur holt um interessante Sachen zu finden, denn das einzige Bild das es sich geholt hat, war der durch robots.txt geblockte Counter.
Interessante Tatsache. Mir wäre das aufgefallen, wenn er die Einträge der robots.txt ausgewertet hätte, dann wären nämlich noch ein paar auffällige 404er entstanden.
Schönes Wochenende,
Robert