nicht angemeldet
Hi Michael!
ja, natürlich. Der Crawler weiß ja, nicht daß beide URLs zu "semantisch äquivalenten" Seiten führen werden - für ihn sind es "inhaltlich verschiedene" Seiten.
Wenn dem so wäre müssten sich aber alle Crawer derart verirren, das tun sie aber augenscheinlich nicht. Was macht googlebot denn anders?
Wozu soll man da unterschieden? IMHO fehlt eine Angabe bei Meta-Tags: "nofollow" oder besser "none", keine Robot soll in der Hauptdatei nach Links suchen, also warum ist das nicht entsprechend verboten?
Weil der Robot nur über die Hauptdatei die Links zu den Threads findet.
Das "nofollow" müßte also ein Attribut nicht der HTML-Datei, sondern des konkreten Links sein ... das ist in HTML aber leider nicht ausdrückbar.
Nein. Robots haben im aktuellen Forum absolut nichts verloren, was bringt es normale Threads zu indizieren? Die gelten doch eh nur ein paar Tage. Also kann man den Zugriff doch am besten für crawler sperren, besser wäre eine robots.txt, nur geht das dann nicht mit dem Archiv.
Grüße
Andreas