Seiten über robots.txt sperren

[pl]

hallo

Idealerweise wird die robots.txt auch nicht von Hand bearbeitet sondern bei Abruf dynamisch erstellt anhand der aktuellen Konfiguration für die gesamte Site (Projektverwaltung). So wird ja in der Konfiguration festgelegt ob für den Abruf einer Seite Credentials erforderlich sind und nicht in der robots.txt

Idealer Weise sollte sich der robots.txt nicht alle paar Minuten ändern.

Befasse Dich mal mit SEO. Stichwort: Last-Modified.

MfG