nicht angemeldet
Hi!
Ich habe eine Seite auf der ich - nachdem ich merkte, dass sich einige Robots beim Indexieren im Kreis drehten - eine robots.txt vorgeschaltet habe.
Seit dem bekomme ich aber solche oder so ähnliche Logeinträge:
si3003.inktomi.com - - [09/Feb/2002:15:55:07 +0100] "GET /robots.txt HTTP/1.0" 200 400 (...)
si3003.inktomi.com - - [09/Feb/2002:15:55:08 +0100] "GET / HTTP/1.0" 200 2974 "-" (...)
si3002.inktomi.com - - [09/Feb/2002:15:55:11 +0100] "GET /robots.txt HTTP/1.0" 200 400 "-" (...)
si3002.inktomi.com - - [09/Feb/2002:15:55:15 +0100] "GET / HTTP/1.0" 200 2974 "-"
si4002.inktomi.com - - [09/Feb/2002:15:56:46 +0100] "GET /robots.txt HTTP/1.0" 200 400 "-" (...)
(+ 4-10x das Gleiche)
Der Robot holt sich also meine robots.txt und holt sich daraufhin die erste Seite, dann wieder robots.txt, dann wieder die erste Seite...
Viele Suchmaschinen holen sich auch nur die robots.txt und ziehen dann ab ohne weitere Seiten anzufordern.
Meine robots.txt sieht so aus:
User-agent: *
Disallow: /cgi-bin/
Disallow: /counter/
Disallow: /cyrin/
Disallow: /logs/
Disallow: /tmp/
Disallow: /usage/
Disallow: /promoboerse/cartoons/
Disallow: /promoboerse/cgi-bin/
Disallow: /promoboerse/counter/
Disallow: /promoboerse/css/
Disallow: /promoboerse/EKGs/
Disallow: /promoboerse/images/
Disallow: /promoboerse/phps/
Es gibt definitiv z.B. noch ein Verzeichnis /deppcimab/ und auch einen Link dahin von /index.html, ebenso soll /promoboerse/ iniziert werden können, es existiert auch dorthin ein Link von /index.html nach /promoboerse/promoboerse.php. Vor der Installation der robots.txt wurden diese auch brav ab und an angefordert.
Ich habe jetzt etwas Sorge, dass ich die Suchmaschinen, die gerade beginnen meine Seite aufzunehmen irgendwie "verschrecke" oder sie daran hindere zu finden, was sinnvoll ist.
Kann mir jmd. sagen, ob diese Logeinträge normal sind und wie sie zu werten sind?
Danke schonmal,
Manti