Der Google Link ist trotzdem sehr interessant. Danke
Kleiner Zusatz: die robots.txt liest (fast*) jeder Suchbot. Sie kommt in das öffentlich Verzeichnis. Anstatt, wie im Beipsiel User-Agent: Googlebot-Image, kann auch der * verwendet werden. http://de.selfhtml.org/diverses/robots.htm@title=SELF
Ansonsten stehts ja alles im Artikel.
Beste Grüße,
Baba
*] weiß gerade nicht, welche Suchmaschine das nicht tut.