robots.txt

[Bobo]

Allow solltest du da benutzen, wo du, nachdem du A ausgeschlossen hast, etwas anderes unterhalb A doch erlauben willst:

Disallow: /beispiel
Allow: /beispiel1.html

… verbietet alle Pfade, die mit /beispiel beginnen (/beispiel, /beispieldings.html, /beispiel/bla.html, etc.), aber erlaubt den Pfad /beispiel1.html.

Der Beispielcode ist –natürlich, wie sollte es anders sein– genau falsch rum, so entspricht es der Beschreibung:

Allow: /beispiel1.html
Disallow: /beispiel

Allow solltest du nur da benutzen, wo du A eigentlich ausschließen, etwas unterhalb von A aber trotzdem erlauben möchtest.

Also: Die Zeilen immer von oben nach unten ablesen, das erste passende Muster bestimmt, was mit dem zu untersuchenden Pfad passieren soll.