eingeschränkter Zugriff für Robots

[Linuchs]

Nach knapp zwei Tagen mit dieser Bot-Information hat sich für mich folgendes herausgestellt:

Pro 24 Std. habe ich um die 67.000 Zugriffe von Bots, davon 24.000 abgelehnte, weil schneller als nach 3 sec gefeuert.

Meine drei inhaltlich gleichen Domains remso.de, remso.eu und remso.org werden natürlich von den Bots als unterschiedlich gesehen. Ich habe de und org nach eu umgeleitet:

header("HTTP/1.1 301 Moved Permanently Location: http://remso.eu" . $_SERVER['REQUEST_URI'] );

Die Programme (Seiten) sind mit zahlreichen variablen Parametern aufrufbar. Ich wundere mich, woher Bots ihre schrägen Parameter herbekommen, etwa einen Umkreis von 27 km um einen Ort oder 13 Positionen pro Seite. Da gibt es noch Korrekturbedarf.

Bots sollten nur die Standard-Werte kennen. Also diese Parameter nicht nutzen.