nicht angemeldet
Hallo,
ja, ich wieder...die Nervensäge...
Ich habe soeben eine robots.txt gemäss Beispiel hier bei selfhtml.org erstellt und möchte mich vergewissern, dass sie auch korrekt aufgerufen(abgearbeitet) wird. Dazu habe ich etwas im Web recheriert und folgendes gefunden:
<META name="robots" content="index, follow">
<META name="siteinfo" content="/robots.txt">
Dies bringt mich etwas durcheinander. Die robots.txt wird doch durch die 1. META-Angabe abgearbeitet, oder? Wozu hat man dann die 2. erstellt? Ist von einer Profiseite aus dem Quelltext.
Gruss
Thorsten