automatisches Auslesen von Webseiten erschweren.

[M.]

Wie kommst du darauf?

Hab ich gelesen. In einem Artikel stand, dass damit geprüft wird, ob eine Datei evtl. angreifbar ist.

Wieso sollte jemand damit in deinen Server einbrechen wollen? Das bloße Vorhandensein von HEAD-Requests im Log ist kein Hinweis auf einen Angriffsversuch.

Aber über 4 Wochen jede Sekunde 5 Zugriffe dürften von einem normalen Userverhalten abweichen. Ebneso ein UA der zwar behauptet XP SP2 zu sein mit IE6 aber dann per HTTP1.0 anfrängt. Das widersprichts sich IMO

Informiere dich besser über HTTP, bevor du harmlose Anfragen fehlinterpretierst und hinter ihnen Angriffe vermutest.

Daran arbeite ich, da es ja offensichtlich notwendig ist.

Das kann schnell nach hinten losgehen, wenn du z.B. den Googlebot in seiner Arbeit behinderst.

Der hat keine Probleme, ebenso wenig wie der Bingbot und die anderen Suma-Bots. Ich habs geprüft. Die fragen ja auch per GET und mit HTTP1.1 an.