Markus: Robots.txt

Beitrag lesen

Hi,

wenn man in der Robots.Txt folgendes definiert:

User-agent: *
Disallow: /ordnername/

dann sind doch alle Files in Verzeichnis "ordnername", sowie(!) alle Files in möglichen Unterordner von "ordnername" vor dem Spider geschützt oder nicht?

Der Spider darf also nicht die Inhalte von z.B.  /ordnername/01 und  /ordnername/02/abc auslesen.

Oder liege ich da falsch?

Guten Abend noch,
Markus