Moin!
Die Lib wird gerne von Script-Kiddies/Hackern/Adress-Sammlern/... verwendet, um Bots zu programmieren, die das Web durchforsten, ...
Jaja, das merkt man ;-)
Im Prinzip ist zu empfehlen, auf eine PHP-Error-Seite umzulenken, und die dann manuell einen 404er absenden zu lassen.
Wer seinem Server ein bisschen Arbeit machen möchte, kann bestimmte Bots per .htaccess aussperen (hab ich gerade mal ausprobiert):
SetEnvIfNoCase User-Agent libwww-perl SpamBot=Remote_Addr
Order allow,deny
Allow from All
Deny from env=SpamBot
Ich verstehe nicht, warum sich diese Script-Kiddies/Hacker/Adress-Sammler/… noch nicht einmal den „Aufwand“ machen, einen „in the wild“ existierenden und verbreiteten User-Agent zu verwenden, das fiele viel weniger auf – wenn überhaupt.
Viele Grüße,
Robert