robots.txt - Macht das so Sinn?

[Michael]

Hallo,

nachdem ich mir hier die entsprechende Seite reingezogen hab, fand ich dort den Hinweis "Benutzen Sie so wenig wie möglich 'allow' und soviel wie es geht 'disallow'.".

Ausserdem hiess es, dass mit dem Befehl  disallow:   alles erlaubt wird.

Ich habe nun im Beispiel hier erst überall den Zugriff erlaubt und dann einzelne Unterordner gesperrt - soweit meine Theorie. Stimmt das auch so?

User-agent: *
Disallow:
Disallow: /design/
Disallow: /admin/
Disallow: /error/
Disallow: /gbook/
Disallow: /voting/
Disallow: /wap/

Hier müsste er also überall Zugriff haben, ausser die genannten Verzeichnisse... hoffe auf eine kurze Bestätigung oder Rückmeldung. :-)

Grüsse
Michael

[Frank Schönmann]

hi!

nachdem ich mir hier die entsprechende Seite reingezogen hab, fand
ich dort den Hinweis "Benutzen Sie so wenig wie möglich 'allow'
und soviel wie es geht 'disallow'.".

Die meisten Bots dürften sowieso annehmen, dass alles erlaubt ist,
was nicht mit "Disallow" verboten wurde. Daher braucht man im
Normalfall überhaupt kein "Allow".

User-agent: *
Disallow:
Disallow: /design/
Disallow: /admin/
Disallow: /error/
Disallow: /gbook/
Disallow: /voting/
Disallow: /wap/

Jepp, das ist so richtig. Allerdings bezweifle ich, dass die leere
"Disallow:"-Zeile irgendeinen Effekt hat auf die meisten oder alle
Bots, die deine Seite besuchen. Aber schaden wird es vermutlich auch
nicht.

bye, Frank!