Sven Rautenberg: 2x robots.txt fuer 2 Domains bei identischen Dateien moeglich?

Beitrag lesen

Hat jemand eine Idee, wie ich das anstellen könnte? Habe leider keine Möglichkeit, den Apachen meines Hosters entsprechend umzuerziehen :-( SSI, Perl, PHP usw. sind aber verfügbar.

Du müßtest die robots.txt dynamisch erzeugen, je nachdem, welche Domain angesprochen wird. Sowas sollte in Perl oder PHP kein Thema sein. ;)

Das Problem ist dabei in der Tat, den Apache davon zu überzeugen, daß "robots.txt" eine Skriptdatei ist, und kein Text...

Aber Google weiß alles: Die Suche nach '"dynamic robots.txt"' ergab genau EINEN Treffer, und zwar diesen hier:
http://www.leekillough.com/robots.html

Zusammenfassung: Um auf diverse User-Agents von Suchmaschinen reagieren zu können, nimmt man mod_rewrite, um verschiedene Versionen der robots.txt auszuliefern. Und das geht natürlich auch, um auf verschiedene Versionen von Domainnamen zu reagieren. :)

mod_rewrite funktioniert auch mit .htaccess, sofern freigeschaltet. Andere Möglichkeiten, den Apache-Zugriff von robots.txt auf ein Skript umzulenken, gibt es AFAIK nicht. Also entweder gehts, oder es geht nicht.

- Sven Rautenberg