Thomas J.S.: 3 Fragen zur robot.txt

Beitrag lesen

Hallo,

Ich möchte meine eigenen Fehlerseiten (404er usw.) gerne
in der robots.txt als Disallow markieren.
Ich dachte, dass ist sinnvoll, damit diese nicht in Suchmschinen auftauchen.
Seht Ihr das auch so?

Hmm... könnte Sinn haben, es sei denn du willst in http://www.plinko.net/404/area404.asp aufgenommen werden! ;-)

Wenn die Fehlerseiten-dateien im Hauptverzeichnis meiner Seite stehen,
genau, wie auch die robots-txt, wie muss es dann heissen:
  User-agent: *
  Disallow: /fehler404.htm

Ja, genau so, wenn die "fehler404.htm" in deinem documentroot liegt.
Sonst: Disallow: /verzeichnis/fehler404.htm

Da die robots.txt ja von jedem User direkt im Browser aufgerufen wrden kann,
verrate ich damit doch im Grunde genau die Verzeichnisse/Dateien,
die ich ja eigentlich nicht so an die große Glocke hängen will.
Ist denn unter diesem Aspekt eine solche robots.txt überhaupt sinnvoll?

Wenn du Dateien nicht an die große Glocke hängen willst, ist robots.txt vom Grundsaz her die falsche Vorgehensweise. Du solltest dann die Dateien/Verzeichnisse PW geschützt anbieten.

Grüße
Thomas