robots.txt

[Christoph Jeschke]

Guten Tag,

Kann ich das mit robots.txt machen, indem ich die Unterverzeichnisse dort
ausschließe? In andern Worten: Benötigen die Suchmaschinen den Zugriff auf die
Dateien in den Unterverzeichnissen, um die Gesamtseite zu analysieren oder
genügt der Zugriff auf die Datei im Root-Verzeichnis?

Zugriff für die Suchmaschine auf die Hauptseite reicht. Allerdings bietet die robots.txt keinen zuverlässigen Schutz gegen das Aufrufen der Include-Dateien, da der Ausschluss in der robots.txt nur beratenden Charakter hat und nicht von allen Clients beachtet wird.

Gruß
Christoph Jeschke