nicht angemeldet
Hi
Ich möchte nun alle, bis auf zwei, mit Einträgen in der Datei robots.txt von allen Suchrobotern fernhalten. Leider habe ich bis jetzt nur herausgefunden, wie ich einzelne Verzeichnisse "abschirmen", nicht aber, wie ich eben alle bis auf zwei schützen kann.
Einzelne Dateien lassen sich ausschliessen, indem man sie in einen Ordner packt und dann im robots.txt eintraegt:
aus http://info.webcrawler.com/mak/projects/robots/exclusion-admin.html
"This is currently a bit awkward, as there is no "Allow" field. The easy way is to put all files to be disallowed into a separate directory, say "docs", and leave the one file in the level above this directory:
User-agent: *
Disallow: /~joe/docs/
Alternatively you can explicitly disallow all disallowed pages:
User-agent: *
Disallow: /~joe/private.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html"
Root geht nicht, da der Robot dort ansetzt und die ersten Dokumente schon gescannt hat, bevor er auf robots.txt stoesst.
Gruss, kaz