@@Deus Figendi:
nuqneH
Und Roboter kann man leicht aufhalten, z.B. indem man die Ressource via JavaScript einfügt und um auf Nummer-sicher zu gehen steht die URI nicht im JS-Text sondern wird zusammengebaut. Und dann ist da noch die robot.txt
Warum sollte ein Bot kein JavaScript ausführen können, wenn es ihm einprorammiert wurde?
Warum sollte ein Bot die robots.txt beachten, wenn er nicht ausgesperrt werden will?
Qapla'
--
Gut sein ist edel. Andere lehren, gut zu sein, ist noch edler. Und einfacher.
(Mark Twain)
Gut sein ist edel. Andere lehren, gut zu sein, ist noch edler. Und einfacher.
(Mark Twain)