Seiten über robots.txt sperren

[pl]

Ist mir zu hoch. Warum sollte man Ressourcen, an die der Bot eh eh nicht rankommt, Weil ja schon Deine Annahme falsch ist.

Meine Annahme basiert auf Deiner Aussage: "Seiten die nicht indexiert werden können, weil sie passwortgeschützt sind"". Wenn also meine Annahme falsch ist, dann ist Deine Aussage ebenfalls falsch.

Du verstehst das eben nicht was ein Bot macht: Er folgt jedem URL, es sei denn, die Datei robots.txt verbietet es. Wenn Dir das zu hoch ist, an mir liegts nicht.

Wie soll ein Bot eine Ressource aufrufen, deren Credentials er nicht kennt?

Weil das ein Bot macht: Er folgt dem Link.

Warum sollte man Ressourcen, die ein Bot nicht aufrufen kann ,

Genau das ist Deine Annahme die falsch ist: Selbstverständlich kann ein Bot auch passwortgeschützte Ressourcen aufrufen und er kann es nicht nur, er macht es auch! Jedoch kann er den Inhalt nicht indizieren, weil er ohne Credentials das nicht kann.

Ein Bot folgt also jedem Link, es sei denn die Datei robots.txt sieht das nicht vor, also auch Links zu Inhalten die er gar nicht indizieren kann weil sie ein Passwort brauchen. Letzteres kann er aber erst feststellen, wenn er die Seite aufgerufen hat. Im Übrigen stellt das ein Bot anhand des HTTP Status fest, allein der Status 401 heißt für den Bot, daß die Seite nicht indizierbar ist.

Die Credentials interessieren den Bot also gar nicht.

MfG