nicht angemeldet
Sollten man diese Spider in die Robots.Txt aufnehmen?
Was spricht dafür / dagegen?Aufnehmen, vielleicht wegen Spamingschutz?
Oha :) Du glaubst doch nicht etwa im Ernst, daß sich irgendjemand an die robots.txt hält, wenn er Dir unbedingt Werbemüll schicken möchte oder sonstwas unfeines im Schilde führt? Es gibt keine robots-Polizei, die Verstöße gegen Deine Regelungen mit Bußgeldern straft.
Die robots.txt-Datei ist eine Empfehlung, eine Hilfestellung, um seriösen Suchmaschinen das Auslesen von unnötigen Daten zu ersparen. Ich verhindere damit beispielsweise, daß Terminseiten, die sich nur auf einen Tag beziehen, abgerufen werden, denn es macht keinen Sinn, sowas in einem Katalog zu haben - bevor die Seiten da auftauchen, sind sie möglicherweise schon längst veraltet.
Gruß,
soenk.e