nicht angemeldet
Hi,
gibt es eine Möglichkeit, aus der LWP::RobotUA Fehlermeldungen aus einer gerade geparsten robots.txt abzufangen und die Ausgabe umzuleiten/zu speichern.
Ich habe auf der Konsole Meldungen entdeckt, die auf sehr "lustige" Varianten deuten.
Z.B. gibt es Leute, die da Keywords einbauen.
Normalerweise läuft der Vorgang mit der robots.txt von dem Modul ja autark ab, d.h. man muß/kann sich darum nicht weiter kümmern und er latscht in ein verbotenes Verzeichnis auch nicht rein.
Mich würde aber das, was er aus der Datei deutet (Fehler in Datei) interessieren.
Gruß
Reiner