nicht angemeldet
Hi,
Die von Dir gesuchte Eigenschaft „robots“ und der Werte wurden durch losen Konsens auf der Robots Mailingliste beschlossen, es gibt es eine „inoffizielle“ Spezifikation. Nach dieser sind die Werte „all“, „none“, „index“, „noindex“, „follow“ und „nofollow“ erlaubt, jeweils ein Wert aus den letzten zwei Paare auch per Komma getrennt miteinander.
Vom W3C gibt es nichts in diese Richtung, ausser einer Erwähnung im Anhang B, Abschnitt 4.1.2. Anhang B hat aber ausdrücklich nur informativen, keinen normativen Charakter.
Es gibt da noch Robots and the META element aus 1998.
Interessant hierbei ist: "The list of terms in the content is ALL, INDEX, NOFOLLOW, NOINDEX."
Den Wert "FOLLOW" gibt es demnach nicht, was auch durchaus sinnvoll und verständlich ist; denn daß ein Robot Links folgt, ist das normale Verhalten und kann über die robots.txt auch nicht beeinflußt werden. Einer Einladung hierzu bedarf es nicht - vermutlich um die Skeptiker zu beruhigen, ist der Wert "ALL" hinzugenommen worden.
Meta robots ist dazu gedacht, Zugriffe zu verbieten, nicht sie zu erlauben. Lediglich der Wert "INDEX" mag dazu dienen, eine bestimmte Datei in einem über die robots.txt ausgeschlossenem Verzeichnis zum Indizieren zuzulassen.
freundliche Grüße
Ingo