Seiten über robots.txt sperren

[Christian Kruse]

Hallo Jürgen,

was sperrt man sinnvollerweise mit disallow?

Sachen, die über Suchmaschinen nicht gefunden werden sollen.

Gehören dazu auch Bibliotheken mit CSS-Dateien oder php-Unterroutinen oder Ordner mit Bildern, die in den Seiten angeeigt werden?

Wenn sie als Resourcen in Dokumenten verwendet werden, die gefunden werden sollen, halte ich es nicht für sinnvoll einer Suchmaschine den Zugriff zu verbieten. Diese Daten enthalten ja Informationen, die die Suchergebnisse besser machen können.

Ich bin mir auch nicht sicher, ob die Bots sich überhaupt daran halten würden. Denn das SEO mit verstecktem Inhalt ist ja durchaus eine Weile in Mode gewesen.

LG,
CK