nicht angemeldet
robots.txt
Wie kann man den Robots (Spider) von bestimmten Webseiten und Datein ausschließen?
Manchmal tauchen Webseiten in Suchmaschinenlisten auf, welche man nicht veröffentlichen wollte.
Zum Beispiel Ordner mit Bildern, Hilfsdatein (z.B. bei Front Page, Word - Html - Seiten usw.)
und CGI - Ordner. Hier hilft eine Textdatei. Auf diese wird mittels Meta Tag verwiesen. Der
Robots wird in der Regel die Datei nutzen um nicht unnötige Daten aufnehmen zu müssen. Die Zeile
im Quelltext (Head-Bereich) sieht wie folgt aus:
<Meta Name="Siteinfo" content="www.irgendwas.de/robots.txt">
Die Datei an sich:
robots.txt for http://www.irgendwas.de/
file created: 07.02.2002
User-agent: *
Disallow: /xyz/
Besagt, dass alle Robots keinen Zugriff auf das Verzeichnis "xyz" haben.
User-agent: *
Allow: /ABC/
Besagt, dass alle Robots Zugriff auf das Verzeichnis "ABC" haben.
User-agent: brunhilde
Disallow: /123/
Besagt, dass ein Robot namens "Brunhilde" keinen Zugriff auf das Verzeichnis "1