robots.txt , wildcards und Reihenfolge

[suit]

Weiter unten befindet sich eine robots.txt, wie sie Googles Webmaster-tools auf Anfrage produzieren.

Dann teste dieses File auch mit den Webmaster Tools - lass es dir nicht nur bauen.

Bist du sicher, das mit der Reihenfolge richtig verstanden zu haben.

Ja habe ich. Robots.txt-Files werden sequentiell von oben nach unten abgearbeitet - spätere Regeln überschreiben/ergänzen vorhergehende.

Das steht nämlich im Widerspruch zu Google:

Das kann durchaus sein, dass da selbst Google (logischen) Unsinn dreht - wäre nicht das erste mal ;)

Nachdem Allow nicht zum Standard gehört, gibt es keine offizielle spezfikation wie es zu sein hat.

Aber wie schon gesagt: "Allow: /" ist Unsinn - in jeglicher Hinsicht.