nicht angemeldet
Moin Moin!
Nein, das gibt die Spezifikation nicht her.
Allerdings muß /robots.txt nicht unbedingt eine Datei sein, Du kannst auch eine serverseitige Technik (CGI, FastCGI, mod_perl, ASP, JSP, PHP, ...) benutzen, um unter der URL /robots.txt eine dynamisch generierte Liste auszuliefern, sinnvollerweise als text/plain. Wahlweise erzeugst Du die robots.txt aus einem Script und ggf. einem Template.
Unter Linux sollte folgender Einzeiler, ausgeführt im Document Root, ein brauchbarer Ansatz sein:
( echo 'User-agent: *' ; find . -maxdepth 1 -type d -! -name . -printf 'Disallow: /%f\n'; ) > robots.txt
Alexander
--
Today I will gladly share my knowledge and experience, for there are no sweeter words than "I told you so".
Today I will gladly share my knowledge and experience, for there are no sweeter words than "I told you so".