Unsicherheit beim User Agent "Go-http-client/1.1"
bearbeitet von
Hallo liebe Forumer,
seid einiger Zeit habe ich im Log ständig Aufrufe vom User Agent
Go-http-client/1.1. Und zwar sind die meistens immer von IPs aus
Schweden:
192.71.30.89
192.71.142.35
192.71.44.44
192.36.71.133
192.71.225.127
192.71.2.171
192.36.53.165
192.71.10.105
und fragen zum Beispiel:
GET /robots.txt HTTP/1.0
GET /humans.txt HTTP/1.0
GET /ads.txt HTTP/1.0
aber auch mal nach GET /login.php
ab
Nun bin ich sehr geneigt mal dies einzudämmen und den
User Agent auszusperren mit:
RewriteCond %{HTTP_USER_AGENT} Go-http-client/1.1 [NC,OR]
Nun habe ich aber im NET mitbekommen das dieser User Agent
von Google genutzt wird und beim Ranking von websites beteidigt
ist, und man ihn nicht sperren solle.
Was soll ich nun tun? Wenn er doch ständig soetwas abfragt (s.o.),
macht das auch google? Und das mit einer schwedischen IP?
Was ist da zu tun?
Grüße der misanthrop