bzw. (CLIENTS): bekannte IPs von robots

[Cybaer]

Hi,

IP-Adressen hab ich nicht gefunden. Ich suche aber nicht nach User Agent Strings, sondern nach IP-Adressen von Robots.

Das sind die, die die robots.txt abfragen (OK, nebst Spidern). ;-) Sorg also dafür, daß die robots.txt ein Script ist, welches
a) den erwarteten Inhalt ausliefert und
b) die IP abspeichert!

Und vor dem Abspeichern kann man noch überprüfen, ob die IP schon drin ist. Das hält die Liste dann klein und übersichtlich.

Gruß, Cybaer