nicht angemeldet
Hallo Robert!
Auf dem von mir mitbetreutem Server, liegen alle Datein (bis auf die Grafiken) im Hauptverzeichnis.
Ich möchte nun alle, bis auf zwei, mit Einträgen in der Datei robots.txt von allen Suchrobotern fernhalten. Leider habe ich bis jetzt nur herausgefunden, wie ich einzelne Verzeichnisse "abschirmen", nicht aber, wie ich eben alle bis auf zwei schützen kann.
Weiß jemand genaueres?
Möchtest Du alle Ordner ausser zwei vom Robot fern halten oder nur zwei Grafiken oder Seiten ausschließen?
Wir nehmen jetzt mal an, Du hast die Ordner pic, deutsch, englisch und bestellen. pic und bestellen sollen ausgeschlossen werden.
robots.txt for http://www.site.com/
User-agent: *
Disallow: /pic/
Disallow: /bestellen/
Einzellne Dateien, wie Bilder und *.htm, *.html können nicht ausgeschlossen werden. Es können nur Ordner ausgeschlossen werden. Einzelne Dateien müßen in ein Ordner oder ins Hauptverzeichnis, damit der Robot drüber herfallen kann.
Bis dann, André