Hallo,
Die ordentlichen Spider lesen nämlich die robots.txt aus und befolgen die Anweisungen dort, d.h. man kann dort angeben dass kein Spider auf eine bestimmte PHP-Seite gehen darf.
Und diese bestimmte PHP-Seite (die irgendwo auf deiner Seite durch einen nicht sichtbaren Link verlinkt wird) erzeugt 10 weitere Links auf "sich selbst", mit unterschiedlichen Variablen angehängt. Ein so "gefangener" Spider bleibt so lange in dieser Falle, bis er abgebrochen wird.
man könnte da auch eine forbidden site (z.B. forbidden.cgi) angeben im robots.txt und die spider od. bots,die sich nicht dran halten werden dann gesperrt via htaccess durch das cgi script,welches ja ausgeführt wird beim aufruf,der dann einen eintrag "deny from IPadresse" in eine htaccess macht.
So ähnlich hab ich es gemacht über mein login script,wenn ein zugriff zweimal oder mehr in weniger als 1 sekunde erfolgt,dann wird die IP gesperrt.Es ist ja nicht möglich über einen normalen client innerhalb weniger als einer sekunde zweimal neue logindaten einzugeben und neu abzuschicken,das kann nur ein bot oder spider.
Gruss
Alain