Alexander Brock: Sitecopyschutz

Beitrag lesen

Hallo Forum,

Mein wget ist handelsüblich und schert sich nen dreck um die Robots.txt

Mein wget beachtet die robots.txt, es sei denn ich schalte es ab.
Die Wikipedia mag ihn z.B. nicht.

Gruß
Alexander Brock