nicht angemeldet
Das glaube ich weniger... gerade die Stümper-Webdesigner stürzen sich doch auf SEO wie die Hyänen aufs Aas. Was eher verlorengeht sind Informationen über nichttechnische Hobbies die von Leuten eingestellt wedrden, die froh sind gerade mal Frontpage bedienen zu können (wodurch ihre Informationen allerdings nicht schlechter werden).
Wie schnell, glaubst du, würden die SOftwarehersteller reagieren und automatisch eine passende Robots.txt erzeugen und hochladen?
Das Problem ist eben, dass das sich so entwickelt hat und "State of the Art" ist. Das kriegt man nicht mehr umgeschmissen, aber es gibt genug Möglichkeiten, wie man damit vernünftig umgehen kann (man muss sie nur nutzen).
Genau das mein ich ja. Es ist kein Problem, wenn Google es macht, denn es ist dort ja normal.
Nur muss das Gleiche dann für alle anderen auch gelten. Und um wieder zum Anfangsthema zu kommen, ich darf dann auch Google indexieren und eine Datenbank erzeugen. Diese darf ich dann bei mir veröffentlichen.
Denn wenn es Google darf, dürfen es alle, wenn alle anderen es nicht dürfen, darf es Google auch nicht.
Und da ich kein Gesetz kenne, das mit vorschreibt, die robots.txt zu beachten, kann ich dabei die robots.txt von Google.de getrost ignorieren und kräftig spidern.
Der Martin