Seiten über robots.txt sperren

[beatovich]

hallo

Kannst natürlich auch sämtliche, nicht existierende Ressourcen in die robots.txt schreiben. LOL

Apropos:

http://rolfrost.de/gibt_es_noch_nicht

antwortet mit HTTP Status 410. Du willst aber mit 404 antworten.

Der wesentliche Unterschied ist, dass 410 sagt: die Seite existiert nicht, während 404 lediglich sagt, sie wurde nicht gefunden.

410 ist also die bessere Antwort wenn es darum geht, Referenzen auf diese URL aufzulösen.