SEO + Sitemap

[Matthias Apsel]

Hallo Der Name ist bereits vergeben,

Das ist quasi ohnehin die Voreinstellung. Gedacht ist allow für das Erlauben weniger Ausnahmen, etwa

User-agent: *
Disallow: /
Allow: /foo/

Das funktioniert so nur bei Google. Die robots.txt wird grundsätzlich von oben nach unten abgearbeitet und der erste passende Eintrag zählt. In deiner robots.txt wird "Allow: /foo/" nie erreicht werden, weil das davor stehende "Disallow: /" schon sämtliche Pfade erschlägt.
Korrekt wäre:

User-agent: *
Allow: /foo/
Disallow: /

Nein. Allow ist für das Erlauben von Verzeichnissen innerhalb gesperrter Verzeichnisse gedacht. Deshalb ist die erste Reihenfolge korrekt: Sperre die gesamte Domain, lass aber das Verzeichnis foo trotzdem zu.

In

User-agent: *
Disallow: /foo/
Allow: /bar/

hingegen ist das Allow: /bar/ nach wie vor sinnfrei.

Google findet das aber blöd und weil Google sich so für das Internet hält wie Microsoft für das Betriebssystem, hat Google das mal eben bei sich umdefiniert.

Die Datei wird nach wie vor von oben nach unten abgearbeitet.

Bis demnächst
Matthias