nicht angemeldet
Moin!
Setting this to off makes Wget not download /robots.txt. Be sure to
know exactly what /robots.txt is and how it is used before changing
the default!
#robots = on
robots=off
Bevor gefragt wird: Das steht bei brauchbaren Betriebssystemen /etc/rcwget oder in ~/.rcwget. Wird die robots.txt nicht geladen, dann wird diese auch nicht beachtet. Das sollte verdeutlichen, dass robots.txt ein clientseitiger Mechanismus ist, der also auch clientseitig beachtet werden muss, damit er funktioniert: Es handelt sich hierbei um eine ausgesprochene Höflichkeit des Programmierers gegenüber den Betreibern von Webservern und nicht um einen Zwang - der ja gerade auch bei böswilligen Anwendungsprogrammierern (oder deren Auftraggebern) nicht mehr als ein laues Lächeln hervorrufen würde.
Auch die Captchas stellen kein wirkliches Hindernis dar. Als optimale Lösung gilt derzeit neben OCR auch Social Engineering: Man biete einfach eine Reihe netter Spiele an und lasse deren Benutzer die Captchas knacken. Eines pro Level. Natürlich nur, damit sich die Spieler sicher sind, nicht gegen Automaten anzutreten.
Entschlüsseln ist auch kein Problem, die Software normaler Benutzer muss das auch können.
Einzige Folge des Ablaufs: Es gäbe recht schnell halbkriminelle kommerzielle Anbieter, welche versprechen diese Daten über Ihre Dienste oder Server verfügbar zu haben. Dem gegenüber steht der Nachteil, dass Suchmaschinen keinen Zugriff auf die Daten haben, diese also nicht gefunden werden - so lange es eigentlich gewünscht ist.
MFFG (Mit freundlich- friedfertigem Grinsen)
fastix
--
[Des fastix kleines CMS](http://www.fastix.org/fastix-cms/)
Gunnar Bittersmann