Coco: robots.txt

Meta

robots.txt

Coco
– Informationen zu den Bewertungsregeln

Hallo liebe Formumsteilnehmer,

ich bin unsicher, was den abschliessenden Slash im Disallow-Befehl einer robots.txt angeht.

Gewünscht ist, dass alle im Verzeichnis "norobots" befindlichen Dateien UND UNTERVERZEICHNISSE nicht gespidert werden

Beispiel:
Disallow: /norobots/

Werden mit diesem Befehl auch die im Verzeichnis "norobots" befindlichen Unterverzeichnisse für die Spider gesperrt oder müsste ich den Slash am Ende dann weglassen?
Disallow: /norobots

Oder muss ich alle Unterverzeichnisse separat sperren?
Disallow: /norobots/sub1/
Disallow: /norobots/sub2/
Disallow: /norobots/sub3/

Herzlichen Dank schon im Voraus und entschuldigt die umständliche Fragestellung.

Coco

Beitrag melden
–
Informationen zu den Bewertungsregeln

  1. robots.txt

    willie.de
    – Informationen zu den Bewertungsregeln

    hallö Coco,

    Disallow: /norobots/

    so ist das korrekt. Speicherort und Aufbau einer robots.txt

    grüße aus Leipzig
    willie

    --
    ss:| zu:} ls:# fo:| de:] va:} ch:? sh:( n4:( rl:° br:> js:| ie:% fl:( mo:}
    Selfcode Decoder
    Beitrag melden
    –
    Informationen zu den Bewertungsregeln