Bernd S: Googlebot

Beitrag lesen

Wie gesagt ich bin kein Spezialist für Robots.txt. Ich weiss nicht in wie weit die einzelnen Absätze zusammen hängen. Aber ich glaube da ich im ersten Absatz alle Vezeichnisse für alle Bots gesperrt habe, diese nachher für den Googlebot erst wieder öffnen zu müssen. - Aber ich kann mich da auch täuschen. (weisst du wie ichs meine?)

also ich habe es jetzt endgülig so:
User-agent: Googlebot
Allow: /
Disallow: /test2/
Disallow: /bilder/

User-agent: *
Disallow: /

leider wird man erst in vielen wochen (monaten?) sehen können, ob das richtig ist

Jeder Bot wertet die Regeln wohl anders (besonders deren Reihenfolge), aber bei Google steht, dass die längtse Regel die wichtigste ist