nicht angemeldet
Hallo Stefan,
Anscheinend kann mir nichts passieren, wenn ich die Website trotzdem durchsuche.
Was spricht dagegen, robots.txt zu parsen und die Wünsche der Sitebetreiber ernst zu nehmen? Auch für Suchmaschinen gibt es so etwas wie eine Netiquette.
[…] das technisch unterbinden kann, in dem er den Referer ausliest und Deine Suchmaschine blockt.
Suchmaschinen übermitteln keine Referer. Am einfachsten wäre es wohl, die IP zu sperren.
Grüße
Roland