Robots nur zu bestimmten Zeiten?
0 
Marc Reichelt
0
Robots nur zu bestimmten Zeiten?
Hallo,
ist es irgendwie möglich, dass man Robots mitteilt, dass sie nur zu bestimmten Zeiten crawlen dürfen?
lg
Peter
-
Hallo Peter,
ist es irgendwie möglich, dass man Robots mitteilt, dass sie nur zu bestimmten Zeiten crawlen dürfen?
Nein. [1]
Grüße
Marc Reichelt || http://www.marcreichelt.de/
[1] Im Prinzip ja. Du könntest die robots.txt mit einer serverseitigen Sprache dynamisch generieren ("du darfst, du darfst nicht, du darfst...") - aber ich rate davon eingehend ab.
--
Linux is like a wigwam - no windows, no gates and an Apache inside!
Selfcode: ie:{ fl:| br:> va:} ls:< fo:} rl:( n4:( ss:) de:> js:| ch:? sh:| mo:) zu:)-
Moin!
[1] Im Prinzip ja. Du könntest die robots.txt mit einer serverseitigen Sprache dynamisch generieren ("du darfst, du darfst nicht, du darfst...") - aber ich rate davon eingehend ab.
Weil Spider sich diese Datei durchaus cachen, und auch dann nicht wiederkommen, wenn die Datei den Zugriff erlauben würde.
- Sven Rautenberg
--
"Love your nation - respect the others."-
Hallo Sven,
Weil Spider sich diese Datei durchaus cachen, und auch dann nicht wiederkommen, wenn die Datei den Zugriff erlauben würde.
Dessen bin ich mir gar nicht mal so sicher. Soweit ich das in einer Logdatei meines Servers verifizieren kann, holen sich die meisten Bots diese Datei immer wieder neu - wobei nicht geklärt ist, was passiert, wenn ich tatsächlich einige Bots aussperre.
Auf jeden Fall sollte man die robots.txt nicht dynamisch ändern - dazu ist sie einfach nicht erschaffen worden.Grüße
Marc Reichelt || http://www.marcreichelt.de/
--
Linux is like a wigwam - no windows, no gates and an Apache inside!
Selfcode: ie:{ fl:| br:> va:} ls:< fo:} rl:( n4:( ss:) de:> js:| ch:? sh:| mo:) zu:) -
Hallo Sven,
Weil Spider sich diese Datei durchaus cachen, und auch dann nicht wiederkommen, wenn die Datei den Zugriff erlauben würde.
Beziehungsweise weil die Bots ja auch nicht ständig vorbeikommen und ja möglicherweise immer dann kommen, wenn der Zugriff gerade verboten wurde. Außerdem kann es natürlich passieren, dass der Bot die gecrawten Infos wieder aus dem Index löscht, wenn er merkt, dass der Zugriff im Nachhinein verboten wurde.
Jonathan
-
-
-
Tach.
ist es irgendwie möglich, dass man Robots mitteilt, dass sie nur zu bestimmten Zeiten crawlen dürfen?
Vorgeschlagen wurde eine solche Erweiterung bereits. Ob irgendein Crawler diese oder ähnliche Anweisungen interpretiert, weiß ich allerdings nicht.
--
Once is a mistake, twice is jazz.