Bernd S: Googlebot

Beitrag lesen

Nein. "Disallow: " bewirkt das alle Verzeichnisse gelesen werden dürfen. Um dann nachträglich bestimmte Verzeichnisse zu sperren.

Nach meinem Wissen impliziert die Aussperrung eines speziellen VZ die Erlaubnis, die anderen nicht explizit ausgeschlossenen VZ zu listen

Um aber auf Nummer sicher zu gehen, werde ich speziell für den Agent Googlebot folgendes einfügen:
Allow: / # alles erlauben
Disallow: /test2/ # spezielles VZ ausblenden

grüsse Bernd