nicht angemeldet
Hi there!
siehe http://aktuell.de.selfhtml.org/artikel/projekt/robots/index.htm
Diesen Artikel halte ich wirklich nicht fuer empfehlenswert. Insbesondere vergisst er, hervorzuheben, dass die Disallow-Angabe sich nicht etwa Verzeichnisse oder Dateien bezieht, sondern auf den *Beginn* der Pfadangabe in der URL. Das heisst fuer die Praxis, ein Angabe wie
Disallow: /help
sperrt sowohl /help.html als auch /help-texts/ usw.
Abgesehen davon finde ich den Artikel ein bisschen konfus geschrieben, naja.
Besser also das Original zu Rate ziehen, welches sich unter http://www.robotstxt.org/wc/norobots.html findet. Inhaltsuebersicht auf http://www.robotstxt.org/wc/robots.html.
So long