Ingo Turski: robots.txt

Beitrag lesen

SELF-Forum

robots.txt

Ingo Turski Homepage des Autors
– Informationen zu den Bewertungsregeln

Hi,

Leider indiziert der Robot bzw. Crawler von Yahoo immer wieder diese Seite, was für uns ein gr. Problem darstellt.

Bist Du sicher, daß es der Yahoo! bzw. inktomi-Robot ist?
Oder doch eher:
Yahoo-MMCrawler/3.x (mm dash crawler at trd dot overture dot com)
oder:
Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)
hinter der sich AFAIK ein Bildersammler verbergen kann?

freundliche Grüße
Ingo

--
[barrierefreie Webseitenerstellung » Suchmaschinenoptimierung | em?] (Tanzschritte gesucht?;-)
Beitrag melden
–
Informationen zu den Bewertungsregeln