Moin!
ich bin Betreiber einer Suchmaschine.
Nun hat mich ein Admin einer Website, die ich durchsuche, angesprochen, dass ich seine Website nicht mehr durchsuchen soll.
Wir hatten seitens SELFHTML vor einiger Zeit (und auf dem alten Server) mal das Problem, dass ein Suchmaschinenspider einer Hochschule auf unser Archiv losgelassen wurde. Der Spider hat sich an keinerlei Regeln hinsichtlich der Lastverteilung gehalten und so schnell wie möglich alle erreichbaren Seiten abgefragt. Dabei hat er mehrere Gigabyte an Traffic erzeugt und den Server komplett lahmgelegt (Load war IIRC über 200).
Bei so einem Spiderverhalten haben wir dann dort auch mal angeklingelt - und zuvor den Zugriff auf den Server für die benutzte IP gesperrt.
Ich stelle seinen Inhalt jedoch nicht auf meiner Website zur Verfügung, sondern verlinke nur zu seiner Seite.
Dieser böse Spider hat die Suchdaten vermutlich nirgendwo öffentlich zur Verfügung gestellt. Es war einfach nur eine extrem unfreundliche Art, wie der Spider angekommen ist.
Meine Frage ist, ob ich seine Seite trotz seiner Aufforderung durchsuchen darf und er einen Weg finden muss, um mich zu blocken, oder ob ich seine Website wirklich nicht durchsuchen darf???
Dich wird grundsätzlich niemand daran hindern, öffentlich erreichbare Webseiten zu spidern (bitte nett sein, siehe oben), die gewonnenen Daten zu verarbeiten und eine Suchmaschine öffentlich zu machen. Dass man grundsätzlich auch Deep Links auf andere Seiten setzen darf, hat der BGH ja in einem Grundsatzurteil festgestellt.
Es gibt aber natürlich Einschränkungen durch nähere Umstände, die du nicht berichtet hast. Eine "Suchmaschine für Firmen, die ich scheiße finde" beispielsweise dürfte wesentlich eher rechtlich angreifbar sein.
- Sven Rautenberg
My sssignature, my preciousssss!