Hallo Forum,
Mein wget ist handelsüblich und schert sich nen dreck um die Robots.txt
Mein wget beachtet die robots.txt, es sei denn ich schalte es ab.
Die Wikipedia mag ihn z.B. nicht.
Gruß
Alexander Brock
Hallo Forum,
Mein wget ist handelsüblich und schert sich nen dreck um die Robots.txt
Mein wget beachtet die robots.txt, es sei denn ich schalte es ab.
Die Wikipedia mag ihn z.B. nicht.
Gruß
Alexander Brock