nicht angemeldet
Moin!
Was spricht dagegen, robots.txt zu parsen und die Wünsche der Sitebetreiber ernst zu nehmen? Auch für Suchmaschinen gibt es so etwas wie eine Netiquette.
im Prinzip nichts, aber es ist halt rechtlich zulässig das zu unterlassen.
Es ist nur die Frage, ob es schlau ist, das zu unterlassen.
robots.txt wird von ernsthaften Anbietern wirklich dazu genutzt, Spider von gewissen Bereichen fernzuhalten. Veröffentlicht eine Suchmaschine wegen Nichtbeachtung dieser Datei oder der äquivalenten Metatags trotzdem Inhalte, so könnte das angesprebte rechtliche Urteil unter Umständen durchaus anders ausfallen, nämlich gegen die Suchmaschine. Man könnte argumentieren, dass durch die Äußerung des Seitenbetreibers, die in maschinenlesbarer Form in robots.txt und/oder Meta-Tag erfolgt, eine Willenserklärung erfolgt, die zu beachten ist.
Darüber hinaus gibt es Zeitgenossen, die absichtliches Suchmaschinenspamming in der Form betreiben, dass sie einen bestimmten Bereich ihrer Site per robots.txt ausschließen, und dort absichtlich ignorante Suchmaschinenspider mit Müllcontent abfüllen.
Es ist also im ureigensten Interesse eines Spiderprogrammierers mit legitimem Interesse, die robots.txt und auch die Metatags zu beachten.
- Sven Rautenberg
My sssignature, my preciousssss!