Websiete sperren

[Steel]

Gar nicht.

Ich kann doch deine Seite indizieren wie es mir passt - voellig unabhaengig von irgendwelchen Dateien oder Tags. Warum auch nicht?

Wenn Du das nicht willst, mach sie nicht oeffentlich zugaenglich.