Markus: Ja Ja, wiedermal robots.txt

Beitrag lesen

Hallo alle,

zu meiner Website gibts es zwei Domains. Der Robot indizieren aber nur eine domain. Die Qual der Wahl: die 2. Domain ist Suchmaschinenfreundlicher.
Google z.B. meint dazu, dass man in der "robots.txt" den Crawler auch sagen kann welche domain er indizieren soll und welche nicht.

Ich hab jetzt schon etliche FAQlisten und Suchmaschinen abgeklappert, aber dazu leider noch nichts gefunden.

Kann mir wer sagen wie die Anweisung aus zu schauen hat?

Besten Danke im Vorraus!