Hallo liebe Formumsteilnehmer,

ich bin unsicher, was den abschliessenden Slash im Disallow-Befehl einer robots.txt angeht.

Gewünscht ist, dass alle im Verzeichnis "norobots" befindlichen Dateien UND UNTERVERZEICHNISSE nicht gespidert werden

Beispiel:
Disallow: /norobots/

Werden mit diesem Befehl auch die im Verzeichnis "norobots" befindlichen Unterverzeichnisse für die Spider gesperrt oder müsste ich den Slash am Ende dann weglassen?
Disallow: /norobots

Oder muss ich alle Unterverzeichnisse separat sperren?
Disallow: /norobots/sub1/
Disallow: /norobots/sub2/
Disallow: /norobots/sub3/

Herzlichen Dank schon im Voraus und entschuldigt die umständliche Fragestellung.

Coco