nicht angemeldet
Die robots.txt-Datei ist eine Empfehlung, eine Hilfestellung, um »»seriösen Suchmaschinen das Auslesen von unnötigen Daten zu ersparen. »»Ich verhindere damit beispielsweise, daß Terminseiten, die sich nur »»auf einen Tag beziehen, abgerufen werden, denn es macht keinen Sinn, »»sowas in einem Katalog zu haben - bevor die Seiten da auftauchen, »»sind sie möglicherweise schon längst veraltet.
Hi Sönke,
danke für die Info!
Nur, welche Suchmaschinen sind denn unseriös? Also, in meiner Robots.txt habe ich ca. 30 Spider die ich ausschliesse. Deren Namen sagen mir nichts (habe die Liste von einer Seite übernommen).
Nun hoffe ich, nicht all zu viele seriöse Spider auszuschliessen.
Das Spider i.d.R. sich nicht an die Einträge der Robots.txt halten, davon habe ich auch schon mal gehört.
Stefan