Hallo pl,
Beispiel: http://www.handwerkzeugs.de/sitemap.xml
und guck auch mal in die robots.txt
Allow: /
ist sinnfrei. Das ist quasi ohnehin die Voreinstellung. Gedacht ist allow
für das Erlauben weniger Ausnahmen, etwa
User-agent: *
Disallow: /
Allow: /foo/
Zu beachten ist, dass sowohl Allow
als auch Sitemap
nicht zum (ursprünglichen) robots exclusion protocol gehören.
Bis demnächst
Matthias
--
Wenn eine Idee nicht zuerst absurd erscheint, taugt sie nichts. (Albert Einstein)
Wenn eine Idee nicht zuerst absurd erscheint, taugt sie nichts. (Albert Einstein)