nicht angemeldet
Idealerweise wird die robots.txt auch nicht von Hand bearbeitet sondern bei Abruf dynamisch erstellt anhand der aktuellen Konfiguration für die gesamte Site (Projektverwaltung). So wird ja in der Konfiguration festgelegt ob für den Abruf einer Seite Credentials erforderlich sind und nicht in der robots.txt
Ganz schön viel Aufwand für m.E. sehr geringen Erlös.
Das hat mit Aufwand nichts zu tun sondern mit Zweckmäßigkeit und Informationsfluß. Eine robots.txt ist zwar auch eine Konfigurationsdatei aber letztendlich auch das Resultat einer zentralen Konfiguration. Gerade wir von der IT sind ja dazu da, Prozesse und Abläufe so zu organisieren, daß eine Konfiguration möglichst zentral erfolgt um Inkonsistenzen zu vermeiden.
Und wenn eine robots.txt dynamisch erzeugt wird, heißt das noch lange nicht, daß sie sich alle paar Minuten ändert muss.
Der Gesamtaufwand schließlich, ergibt sich aus den Zielen die ein Projekt verfolgt. Sowas wird dokumentiert einschließlich einer Policy für die Zugänglichkeit. Ohne Projektverwaltung ist keine Revision möglich, keine Fehlerbehandlung, keine Wartung und auch keine Kontrolle ob die Ziele überhaupt erreicht wurde.
Wat mutt dat mutt.
Matthias Apsel
Tabellenkalk