Hat jemand eine Idee, wie ich das anstellen könnte? Habe leider keine Möglichkeit, den Apachen meines Hosters entsprechend umzuerziehen :-( SSI, Perl, PHP usw. sind aber verfügbar.
Du müßtest die robots.txt dynamisch erzeugen, je nachdem, welche Domain angesprochen wird. Sowas sollte in Perl oder PHP kein Thema sein. ;)
Das Problem ist dabei in der Tat, den Apache davon zu überzeugen, daß "robots.txt" eine Skriptdatei ist, und kein Text...
Aber Google weiß alles: Die Suche nach '"dynamic robots.txt"' ergab genau EINEN Treffer, und zwar diesen hier:
http://www.leekillough.com/robots.html
Zusammenfassung: Um auf diverse User-Agents von Suchmaschinen reagieren zu können, nimmt man mod_rewrite, um verschiedene Versionen der robots.txt auszuliefern. Und das geht natürlich auch, um auf verschiedene Versionen von Domainnamen zu reagieren. :)
mod_rewrite funktioniert auch mit .htaccess, sofern freigeschaltet. Andere Möglichkeiten, den Apache-Zugriff von robots.txt auf ein Skript umzulenken, gibt es AFAIK nicht. Also entweder gehts, oder es geht nicht.
- Sven Rautenberg