Hallo,
Was spricht dagegen, robots.txt zu parsen und die Wünsche der Sitebetreiber ernst zu nehmen? Auch für Suchmaschinen gibt es so etwas wie eine Netiquette.
im Prinzip nichts, aber es ist halt rechtlich zulässig das zu unterlassen. Das war doch schliesslich die Ausgangsfrage. Im Übrigen gibt es Dienste, die keine Suchmaschinen sind, die aber trotzdem verlinken. Müssen die dann auch einen robots.txt-Mechanismus implementieren?
Nicht falsch verstehen, aber wenn hier jemand _Rechts_fragen stellt, ist es wenig hilfreich, wenn dann Leute die Netiquette bedienen und dann auch noch so darstellen, als gäbe es dazu irgendwelche rechtskräftigen Urteile. Es geht hier schliesslich darum mit der "Wahrheit" zu helfen, nicht wahr?
Suchmaschinen übermitteln keine Referer. Am einfachsten wäre es wohl, die IP zu sperren.
Tun sie das nicht? Naja, aber "er" als Entwickler der Suchmaschine könnte das doch tun! :)
Beste Grüsse, Stefan