Botaufrufe verhindern: Eine Antwort und eine mögliche Lösung

[Raketenwissenschaftler]

"Verbieten" geht ganz klar nicht, aber google wird sich bis zum 1.3.2020 daran halten und nofollow-Links nicht folgen… empfiehlt die robots.txt für „Sperren“.

Dotbot hat fast eine DDoS-Attacke gefahren als es versuchte, „quasi das ganze Internet“ über meine Seite abzurufen. Auch den Crawl-delay aus der robots.txt hat dotbot missachtet.