nicht angemeldet
AugeHallo
@@Auge,
Sowohl @bornstecker als auch ich haben dir empfohlen, das Verzeichnis mit den fraglichen Dateien von den Regeln in der robots.txt auszuschließen, damit die Robots darauf zugreifen können und für beziehungsweise in den Dateien stattdessen mit dem HTTP-Header und dem Meta-Element zu arbeiten.
So würde ich das dann machen.
Die große Frage: Wann macht dann disallow in Verbindung mit der robots.txt noch Sinn?
Bei Verzeichnissen mit Bildern, mit CSS- oder JS-Dateien oder für zugangsbeschränkte Bereiche einer Site, bei denen man Traffic durch unnütze oder zum scheitern verurteilte Zugriffe vermeiden will.
Tschö, Auge
--
Eine Kerze stand [auf dem Abort] bereit, und der Almanach des vergangenen Jahres hing an einer Schnur. Die Herausgeber kannten ihre Leser und druckten den Almanach auf weiches, dünnes Papier.
Kleine freie Männer von Terry Pratchett
Eine Kerze stand [auf dem Abort] bereit, und der Almanach des vergangenen Jahres hing an einer Schnur. Die Herausgeber kannten ihre Leser und druckten den Almanach auf weiches, dünnes Papier.
Kleine freie Männer von Terry Pratchett