alfie: Robots.txt so korrekt?

Beitrag lesen

Hallo!

...und da es kein "Allow" in der Syntax von robots.txt gibt, bleibt's auch dabei.

Das ist die Halbe Warheit.
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html#beispieltabelle . Dort sieht man, dass es DOCH noch Allow gibt.

Du hast auch folgendes gelesen?

...Da die Allow Anweisung aber erst später als der eigentliche Standard eingeführt wurde, wird sie noch nicht von allen Robots unterstützt. Von daher sollte man sich nicht darauf verlassen und lieber nur Disallow benutzen.

mfg Alfie