Bots unterstützen!

[pl]

hi

ein Bot macht: Er folgt jedem URL, es sei denn, die Datei robots.txt verbietet es.

… und der Bot respektiert dieses Verbot.

Wenn ein Bot den Status 401 bekommt wird er sich fragen, was das fürn Depp ist der ihm nicht gleich per robots.txt mitgeteilt hat, daß er den für ihn untauglichen Versuch der Indizierung gar nicht erst unternehmen soll.

Es ist also mitnichten von einem Verbot die Rede sondern von einem Entgegenkommen!

MfG