Ludwig Ruderstaller: & (INDEXER) http_user_agent

SELF-Forum

& (INDEXER) http_user_agent

Ludwig Ruderstaller
– Informationen zu den Bewertungsregeln

Hallo,

Ich schreibe gerade an einem phpcounter inkl umfassender statistik. Um aber echte pageviews von Spidern unterscheiden zu können bräuchte ich aber eine liste von spidern und wie sie sich melden. Meine Recherchen im Net haben nicht sehr viel gebracht (leider)

In meinen eigenen log files finden sich nur 3 spiders, es sollte aber um einige mehr geben. wer welche hat bitte mir mailen oder hier posten. (den genauen text so wie er in den serverlogfiles steht zb. "FAST-WebCrawler/2.0.9 (crawler@fast.no; http://www.fast.no/faq/faqfastwebsearch/faqfastwebcrawler.html)"
          
Danke!

lg
Ludwig

Beitrag melden
–
Informationen zu den Bewertungsregeln

  1. & (INDEXER) http_user_agent

    Wolfgang Wiese
    – Informationen zu den Bewertungsregeln

    Hi,

    schau mal hier:

    http://info.webcrawler.com/mak/projects/robots/active.html

    Ciao,
      Wolfgang

    Beitrag melden
    –
    Informationen zu den Bewertungsregeln