nicht angemeldet
hi,
Kann man da mit einer zentralen Robots.txt etwas machen?
Ja. robots.txt, steht drin:
User-agent: *
Sitemap: /sitemap.xml
Allow: /
Jetzt musst Du nur noch dafür sorgen, dass das sitemap.xml automatisch erstellt wird und so kriegen die Bots immer gleich alles mit.
Hotti