hi
ein Bot macht: Er folgt jedem URL, es sei denn, die Datei robots.txt verbietet es.
… und der Bot respektiert dieses Verbot.
Es ist also mitnichten von einem Verbot die Rede sondern von einem Entgegenkommen!
die Formulierung "verbietet" war von dir 😉
Ja und!? Der Begriff ist ja nicht falsch!
MfG