robots.txt

[Thorsten Steffen]

Hi,
kann mir bitte jemand erklären, wozu die Datei robots.txt gut ist, was drin steht und wie man sie am besten benutzt, ein Link zu einer Doku wäre auch echt spitze.

Gruß
Thorsten

[Alexander Kirk]

Hallo Thorsten,
Wirf bitte einen Blick auf http://www.teamone.de/selfaktuell/robots.htm. Dort sollte alles stehen, was du brauchst.
Schönen Gruß,
Alexander Kirk