Reiner: Robots.txt - Welche Spider Exoten ausschliessen?

Beitrag lesen

SELF-Forum

Robots.txt - Welche Spider Exoten ausschliessen?

Reiner Homepage des Autors
– Informationen zu den Bewertungsregeln

Hi,

habe mich mal informiert, welche Spider Webmaster in ihrer Robots.txt vom Suchen ausschliessen.

Zum Beispiel bin ich auf folgende Exoten gestossen:

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /
User-agent: RepoMonkey
Disallow: /
User-agent: Microsoft URL Control
Disallow: /
User-agent: Openbot
Disallow: /
User-agent: URL Control
Disallow: /
User-agent: Zeus Link Scout
Disallow: /
User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /
User-agent: Webster Pro
Disallow: /

Sollten man diese Spider in die Robots.Txt aufnehmen?
Was spricht dafür / dagegen?

Aufnehmen, vielleicht wegen Spamingschutz?

das mußt Du letztendlich selbst und vielleicht anhand _Deiner_ Logfiles entscheiden.

Gruß
Reiner

Beitrag melden
–
Informationen zu den Bewertungsregeln