WHois: woran erkennt man einen Robot?

[Henryk Plötz]

Moin,

Wobei ich dies nicht unbedingt als Unfreundlichkeit sehe, sondern eher als
legitimen Versuch den Spam in seinen Suchergebnissen zu verringern.

Wer einen Robot auf breiter Basis einsetzt der sich nicht an die Wünsche in der robots.txt hält handelt IMHO asozial, Punkt. Und ohne sie abzurufen kann man sich ja auch kaum dran halten. Dass man ggbf. tricksen kann um den Abruf der robots.txt und den späteren eventuellen Abruf der Webseiten nicht einfach korrelierbar zu machen steht dann aber noch auf einem anderen Blatt, ja.