nicht angemeldet
Hi,
Schade, daß keiner meine Frage nach Listen bekannter Robot-IPs beantworten will.
Weil das mit Sicherheit keine Lösung für Deine Problem ist, sondern nur ein Workaround oder wie ich sowas gerne bezeichen: ein "Würgaround". Woher ich das wissen will, obwohl ich Dein Problem überhaupt nicht kenne? Weil manche Dinge und Fragen genau darauf hinweisen, so auch Deine:
Eine IP-Liste von Robost? Kann es nicht geben da sie schon ebi der Herstellung schon veraltet wäre. IPs von Robots ändern sich zwar selten, aber sie können sich durchaus ändern. Auch können Suchmaschinen wegsterben und welche hinzukommen. Sodann kann es sein, das sich das Verhalten eines Robots ändern kann.
Wie kann man also sicherer feststellen, ob es sich um einen Robot handelt? In dem man sein Verhalten nutzt. Z.B. mit einer robots.txt.
Alleine schon das Aufsuchen der robots.txt ist ein recht sicheres Zeichen. Ordentliche Suchrobots halten sich dann noch an die Anweisungen darin, also könntest Du eine Falle stellen. Das ist jedoch zweckfrei, wenn sich üble Zeitgenossen die robots.txt gar nicht erst anschauen. Bei ehrlichen Robots wird aber auch der UA nicht wesentlich geändert. Du würdest also mit der UA-List in der einen und dem GET auf die robots.txt in der andern Hand einen ehrlichen Robot gut feststellen können.
Aber was ist mit den unehrlichen? Die kannst Du ignorieren, wenn sie keinen Schaden anrichten. Schaden können sie eigentlich nur anrichten, in dem sie den Traffic hochjubeln bis es in Deiner Brieftasche schmerzt. Das ist dann aber eine Art DoS, bei dynamischen IPs nicht einfach zu behandeln und würde den Rahmen dieses Postings sprengen.
Nur ein sehr kleiner Auszug aus den Möglichkeiten. Ist Dein Problem darunter? Oder möchtest Du nach der Suchmaschinenanmeldung lediglich wissen, ob überhaupt und wenn ja, wann der Robot vorbeigekommen ist? Dafür ist die Liste aus AWStats und anderen Logfileanalysatoren sehr gut geeignet.
Oder Du benutzt die Arbeit anderer Leute und schaust z.B. mal bei http://www.robotstats.com/ (vermischte Lizenzen: "nur Link auf Seite", QPL-1.0 und GPL ) vorbei. Im Paket ist in der Datei "install.php" eine Liste mit bekannten Namen und IPs drin.
so short
Christoph Zurnieden