Suche Hilfe in Bezug auf robots.txt

[Thomas Kerk]

Hallöchen,

kann mich irgendjemand über die Datei robots.txt aufklären.

Wozu brauch ich sie, was macht sie und wie erzeuge ich sie ???

Danke

Thomas

[Jan Lehnardt]

kann mich irgendjemand über die Datei robots.txt aufklären.

http://www.teamone.de/selfaktuell/artikel/robots.htm

Jan

[Calocybe]

Hi!

Wozu brauch ich sie, was macht sie und wie erzeuge ich sie ???

Nachdem Du mit dem anderen Link rausgefunden hast, wozu man die braucht, findest Du hier,
wie sie funktionieren:

http://info.webcrawler.com/mak/projects/robots/exclusion.html
http://info.webcrawler.com/mak/projects/robots/norobots.html

Bye

[Björn Höhrmann]

kann mich irgendjemand über die Datei robots.txt aufklären.

Wozu brauch ich sie, was macht sie und wie erzeuge ich sie ???

http://www.bjoernsworld.de/suchmaschinen/robots-txt