robots.txt

[Napster]

Hi,

kleine Frage: welche Version ist richtig?

Version 1
---------
User-agent: *
Allow: /
Disallow: /beispiel1.html
Disallow: /beispiel2.html
Disallow: /beispiel3.html

Version 2
---------
User-agent: *
Disallow: /beispiel1.html
Disallow: /beispiel2.html
Disallow: /beispiel3.html

MfG
Napster

[Shadowcrow]

'ǝɯɐu$ ıɥ

kleine Frage: welche Version ist richtig?

Ich nehm Tür Nummero 2.
http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=156449
http://de.wikipedia.org/wiki/Robots.txt
http://www.robotstxt.org/wc/exclusion.html

ssnɹƃ
ʍopɐɥs

[Bobo]

kleine Frage: welche Version ist richtig?

Theoretisch beide. Sie machen nur unterschiedliches.

Version 1

User-agent: *
Allow: /
Disallow: /beispiel1.html
Disallow: /beispiel2.html
Disallow: /beispiel3.html

Damit erlaubst du in "Allow: /" als Erstes sämtliche Pfade, die mit einem Schrägstrich beginnen. Da die robots.txt von oben nach unten abgearbeitet (werden sollte, ein gewisser Monopolist tanzt aus der Reihe), der erste Eintrag, dessen Muster mit dem Beginn des fraglichen Pfades übereinstimmt, genommen wird und sämtliche Pfade mit einem Schrägstrich beginnen, kommen die drei folgenden Zeilen nicht mehr zum Einsatz und können genauso gut weggelassen werden (wie eigentlich die ganze robots.txt im Allgemeinen und Allow: / im Speziellen, denn alles auszulesen, was nicht explizit verboten wurde, ist das normale Vorgehen).

Version 2

User-agent: *
Disallow: /beispiel1.html
Disallow: /beispiel2.html
Disallow: /beispiel3.html

Damit verbietest du die drei genannten Pfade, alles andere wird indiziert.

Allow: solltest du da benutzen, wo du, nachdem du A ausgeschlossen hast, etwas anderes unterhalb A doch erlauben willst:

Disallow: /beispiel
Allow: /beispiel1.html

… verbietet alle Pfade, die mit /beispiel beginnen (/beispiel, /beispieldings.html, /beispiel/bla.html, etc.), aber erlaubt den Pfad /beispiel1.html.

[Bobo]

Allow solltest du da benutzen, wo du, nachdem du A ausgeschlossen hast, etwas anderes unterhalb A doch erlauben willst:

Disallow: /beispiel
Allow: /beispiel1.html

… verbietet alle Pfade, die mit /beispiel beginnen (/beispiel, /beispieldings.html, /beispiel/bla.html, etc.), aber erlaubt den Pfad /beispiel1.html.

Der Beispielcode ist –natürlich, wie sollte es anders sein– genau falsch rum, so entspricht es der Beschreibung:

Allow: /beispiel1.html
Disallow: /beispiel

Allow solltest du nur da benutzen, wo du A eigentlich ausschließen, etwas unterhalb von A aber trotzdem erlauben möchtest.

Also: Die Zeilen immer von oben nach unten ablesen, das erste passende Muster bestimmt, was mit dem zu untersuchenden Pfad passieren soll.