Seiten über robots.txt sperren

[Mitleser]

Warum sollte man dem Bot für Ressourcen die Indizierung via robots.txt untersagen, wenn die Antwort HTTP 401 lautet? Der Sinn hinter Deiner dahingehenden Empfehlung erschließt sich mir nicht.

Es geht wohl hauptsächlich darum, dass er gar nicht erst fragt. Macht ja auch Sinn, spart Traffic und verkürzt das Log.

Das sind zwei Argumente, ok. Kann man machen. Mit der pauschalen Empfehlung, das so zu machen, tue ich mich dennoch schwer. Das sind IMHO vernachlässigbarere Vorteile, erkauft zu dem Preis, sich mit einer eventuell defekten oder zwischenzeitlich überholten Robots-Direktive selbst ins Knie zu schießen.