warum sperrt gr. eitung in NL mit robots.txt soviel Seiten aus?

[ChrisB]

Hi,

Kann man das nachvollziehen, dass eine journalistische Seite (so viele, wie mir auffiel) Seiten den crawlern nicht erlaubt. Und warum grade das Gratisarchiv? Grad wenn ich da am Googlen bin.

Das Zeitungsverleger und Google sich oft nicht gerade freundlich gesonnen sind, sondern eher auf Kriegsfuß miteinander stehen, ist doch nichts neues.

MfG ChrisB