nicht angemeldet
Hallo,
bei einer Recherche wurde ich vor 9 Tagen via Google noch fündig. Jetzt nicht mehr. Ich musste meine History durchackern, bis ich die Seite wieder hatte und habe mich gewundert, wie das sein kann. Dann habe ich von der Domain (volkskrant.nl) die robots.txt aufgerufen, und wahrlich, das gratis_archiv ist als "disallowed" markiert. Yahoo findet die Seite auch nicht. Altavista momentan noch. Kann man das nachvollziehen, dass eine journalistische Seite (so viele, wie mir auffiel) Seiten den crawlern nicht erlaubt. Und warum grade das Gratisarchiv? Grad wenn ich da am Googlen bin.
Ich dachte bisher, mit Google könnte ich recht komplett sachlich relevante Inhalte finden. Aber jetzt merke ich, dass mir 10 Tage später eine wahrlich relevante Seite komplett entgangen wäre. Mmhhhh...;
Gruß
jobo