Seiten über robots.txt sperren

[Mitleser]

sinnvoll ist es z.B., Seiten die ein Passwort erfordern da einzutragen. Warum denn das? Weil die ohne Passwort keinen Inhalt rausrücken der indexiert werden könnte.

Verstehe ich nicht. Siehe unten.

robots.txt also: - Seiten die nicht indexiert werden sollen

Ja. Passt.

   und
 - Seiten die nicht indexiert werden können.

Ist mir zu hoch. Warum sollte man Ressourcen, an die der Bot eh eh nicht rankommt, per robots.txt "verbieten" wollen? Klar, kann man machen. Aber wo liegt da der Sinn? Kannst natürlich auch sämtliche, nicht existierende Ressourcen in die robots.txt schreiben. LOL