nicht angemeldet
Hi!
Wozu brauch ich sie, was macht sie und wie erzeuge ich sie ???
Nachdem Du mit dem anderen Link rausgefunden hast, wozu man die braucht, findest Du hier,
wie sie funktionieren:
http://info.webcrawler.com/mak/projects/robots/exclusion.html
http://info.webcrawler.com/mak/projects/robots/norobots.html
Bye