Benutzeridentifizierung (HTTP_USER_AGENT)

[Markus B.]

Hallo,

ich werte gerade ein bisschen die Besucherstatistiken meines Servers aus und stoße dabei auf einige Einträge, die ich nicht zuordnen kann. Vielleicht hat von Euch ja jemand mehr Ahnung wer die Besucher sein könnten bzw. was für ein Browser er nutzt:

• Mozilla/3.0 (compatible; Indy Library)
  Wenn ich den Text auf der Seite hier richtig verstehe, könnte dahinter ein nicht ganz so netter Crawler stecken, der zum Beispiel E-Mail Adressen sammelt: http://www.flarp.net/misc/indylib.php

• Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)
  Also von der Bezeichnung her würde ich ja sagen, es gibt wirklich noch Leute, die mit dem IE5 unter Windows 98 unterwegs sind, aber bei der Google Suche findet man als erstes Beiträge, wo ein Client mit dieser Kennung böse Sachen macht. Ein Zufall, also nur ein böser Bot der sich mit dieser Kennung tarnt?

• WWW-Mechanize/0.7.6 (http://rubyforge.org/projects/mechanize/)
  Hm sieht aus wie Spider für jedermann, also was man sich einfach herunterladen kann und jeder nutzen kann?

• Shelob ([e-mail])

• libwww-perl/5.79

• libwww-perl/5.805

• Mozilla/4.0 (compatible; MSIE 7.0; TOB 6.06; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506; eSobiSubscriber 2.0.4.16; .NET CLR 1.1.4322)

Ich weiß das man diese Angaben auch fälschen kann, trotzdem interessiert es mich was hinter diesen Einträgen steckt...

[Der Martin]

Hi,

• Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)
  Also von der Bezeichnung her würde ich ja sagen, es gibt wirklich noch Leute, die mit dem IE5 unter Windows 98 unterwegs sind

oh ja,davon gibt es noch einige. Die IE-Versionsangabe 5.00 ist aber dennoch sehr auffällig, wenn nicht gar "verdächtig", weil dieser IE sich im User Agent eigentlich mit "5.0", also mit nur einer Null, identifiziert hat. Die zweite Stelle ist in der IE5-Geschichte erst aufgetaucht, als der IE 5.01 herauskam.

aber bei der Google Suche findet man als erstes Beiträge, wo ein Client mit dieser Kennung böse Sachen macht. Ein Zufall, also nur ein böser Bot der sich mit dieser Kennung tarnt?

An solche Zufälle gleube ich irgendwie nicht ...

• WWW-Mechanize/0.7.6 (http://rubyforge.org/projects/mechanize/)
  Hm sieht aus wie Spider für jedermann, also was man sich einfach herunterladen kann und jeder nutzen kann?

Scheint so - quasi ein Bot zum Selberbauen. ;-)

• Mozilla/4.0 (compatible; MSIE 7.0; TOB 6.06; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506; eSobiSubscriber 2.0.4.16; .NET CLR 1.1.4322)

Das scheint ein IE7 unter Vista zu sein, mit unterschiedlichen .NET Versionen und einigen anderen netten Erweiterungen, die sich alle im User Agent präsentieren möchten.

Ich weiß das man diese Angaben auch fälschen kann, trotzdem interessiert es mich was hinter diesen Einträgen steckt...

Naja, gib nur nicht zuviel darauf.

So long,
 Martin

[Alexander (HH)]

Moin Moin!

• libwww-perl/5.79
• libwww-perl/5.805

Perls LWP-Library für Clients und ggf. auch Server. Noch ein User-Agent zum Selberbasteln.

Ich weiß das man diese Angaben auch fälschen kann, trotzdem interessiert es mich was hinter diesen Einträgen steckt...

Nichts, worüber Du Dir den Kopf zerbrechen müßtest. Ein ernsthafter Angreifer wird sich nicht mit "evil-bot/2.03" identifizieren, sondern aller wahrscheinlichkeit nach als halbwegs aktueller IE oder FF oder als Google-Bot tarnen. Ein paar blöde Automaten für die Suche nach angreifbaren Webservern identifizieren sich allerdings tatsächlich über den User-Agent.

Wer allzu blauäugig glaubt, dass jeder User-Agent mit Googlebot-Kennung wirklich von Google kommt, muß sich nicht wundern, wenn vom Server eines Tages nur noch rauchende Trümmer übrig sind. Google hat sehr genau dokumentiert, wie man den echten Googlebot erkennt: Über eine Rückwärtssuche der Client-IP mit anschließender Verifikation per Vorwärtssuche. Alle anderen "Googlebots" sind Lügner oder sogar Angreifer.

Bei FF und IE ist die identifikation leider nicht so einfach. Am besten geht man schlicht davon aus, dass im User-Agent-Header nichts sinnvolles drinsteht.

Wobei ich mich gelegentlich wundere, was so alles an Daten dort, gerade beim IE, zu finden ist. Aus einem Server-Log:

"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; AVPersonalSerial 33***c5f5dd***4751c631012f***5fe6f3***c3; .NET CLR 1.1.4322; .NET CLR 1.0.3705; .NET CLR 2.0.50727)"

Ja, da steht eine Seriennummer in der Browser-Kennung! Die Sternchen hab ich drübergetippt, im Original steht da die vollständige Nummer.

Jeder Bösewicht wird sich natürlich freuen, dass der IE so bereitwillig herausposaunt, welche .NET-Runtimes für Angriffe auf das XP-System zur Verfügung stehen. ;-)

Alexander

[Struppi]

Google hat sehr genau dokumentiert, wie man den echten Googlebot erkennt: Über eine Rückwärtssuche der Client-IP mit anschließender Verifikation per Vorwärtssuche.

Naja, der letzte Satz lautet:

Zugriffe durch Googlebot identifizieren Sie am einfachsten mithilfe des User-Agents (Googlebot).

Struppi.

[Alexander (HH)]

Moin Moin!

Google hat sehr genau dokumentiert, wie man den echten Googlebot erkennt: Über eine Rückwärtssuche der Client-IP mit anschließender Verifikation per Vorwärtssuche.

Naja, der letzte Satz lautet:

Zugriffe durch Googlebot identifizieren Sie am einfachsten mithilfe des User-Agents (Googlebot).

Klar, aber wenn Du sicher gehen willst, dass Du wirklich nur dem Google-Bot besondere Rechte einräumen willst (z.B. Zugriff auf ein Forum ohne Login), dann prüfst Du besser auch die IP-Adresse des Clients.

Alexander