(SEARCHENGINE) robots.txt ?? Was ist den das?

[frank_eee]

hallo selfHack

Immer wieder lese ich was über robots.txt. Das soll mit Searchengines zu tun haben. Nur habe ich bisher nirgends eine deutsche gute Doku über diese Datei gefunden.

Kann mir jemand weiterhelfen.

Frueher (naja, eben schon etwas vergangen) stand im jetztigen SELFAKTUELL Feauture Artikel ein Artikel zu diesem Thema (jetzt wohl nichtmehr).

Um diesen nochmal zu beschreiben: die datei robots.txt gibt den suchmaschinen robots an welche unterverzeichnisse sie besuchen/indexieren duerfen und welche nicht. das wars auch schon(abgesehen davon, dass man das dann auch noch auf spez. robots festlegen kann).

ich hoffe ich konnte helfen,
gruss,
frank_eee