XMLHttpRequest, der Scraping Bots draußen hält

[Mitleser 2.0]

Wie funktioniert die Authentifizierung des Clients (daher durch den Browser) auf https://www.eex.com/de/marktdaten/strom/futures, damit er Daten per Klick nachladen darf?

Dazu müsste man im Detail vergleichen, wie sich die Request Header von Browser und XMLHttpRequest unterscheiden.

Vermutlich kommt es auf etwas an, das im XMLHttpRequest nicht dabei ist.

Oder auch zu viel oder falsch... wie auch immer...

Wenn ich beispielsweise den "Request für die Woche":

"https://queryeex.gvsi.com/ExactSymbolSearch/json?symbol=%2FE.ATB_WEEK" einfach

in einem neuem Tab öffne, macht es bei mir auch Meep. Z.B. im Chrome kannst Du Dir im Netzwerkpanel beim dem Klick aber noch mehr holen: beispielsweise einen Kommandozeilenaufruf via "CURL", denn Du dann in einer Shell absetzen kannst. Sämtliche Request-Daten werden dann 1:1 wie vom Browser-Klick initiert zum Server geschickt.

Gerade ausprobiert. Ergebnis: dieselbe Response wie via Klick im Browser.

Security by obscurity. Oder "diebstahl.gif" 2.0 ;-)