robots.txt

[Thorsten Steffen]

Hi,
kann mir bitte jemand erklären, wozu die Datei robots.txt gut ist, was drin steht und wie man sie am besten benutzt, ein Link zu einer Doku wäre auch echt spitze.

Gruß
Thorsten