Andreas Korthaus: 37 GB Traffic an einem Tag?

Beitrag lesen

Hi!

Wobei ich mir bei %23 jetzt nicht unbedingt sicher bin, aber alles andere wäre total unlogisch. Nur stehen solche Links _nirgendwo_, also wo bekommt der crawler die her?

So, das Problem war, der Crawler kann kein JS, dann werden Links generiert, der Form:

http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44806
http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44805
http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44385
http://forum.de.selfhtml.org/?t=44780&a=close&o=44717%2C44387

Wobei %2C für , steht. Naja, der Crawler "klickt" auf "schließen", udn dann wird an alle Links die ID der geschlossenen Threads gehängt, und das äändert sich natürlich bei jedem Schließen eine s Threads, udn zwar für alle Links. so hat er sich halt verirrt. Ist halt beta, nichts desto trotz sollte man die meta-Anageb zu robots anpassen damit wenigstens sowas vermieden wird.

Grüße
Andreas

0 44

Verbreitung von Schriftarten, Browsern, etc. im Internet?

Elessar
  • sonstiges
  1. 0
    Johannes Zeller
    1. 0

      37 GB Traffic an einem Tag?

      Stefan Einspender
      • zu diesem forum
      1. 0
        MudGuard
        1. 0
          Stefan Einspender
        2. 0
          Andreas Korthaus
      2. 0
        Sven Rautenberg
        1. 0
          Stefan Einspender
          1. 0
            Ole
          2. 0
            Thomas J.S.
          3. 0
            Frank Schönmann
        2. 0
          Andreas Korthaus
          1. 0
            Stefan Einspender
          2. 0
            MudGuard
            1. 0
              Andreas Korthaus
              1. 0
                Andreas Korthaus
                1. 0
                  Thomas J.S.
                  1. 0
                    Michael Schröpl
                    1. 0

                      Schutz gegen 'Crawler-Attacken'

                      Andreas Korthaus
                      1. 0
                        Michael Schröpl
                        1. 0
                          Andreas Korthaus
                          1. 0
                            Andres Freund
                            1. 0
                              Michael Schröpl
                              1. 0
                                Andreas Korthaus
                              2. 0
                                Andres Freund
                                1. 0
                                  Michael Schröpl
                          2. 0
                            Michael Schröpl
      3. 0
        Andreas Korthaus
        1. 0
          Stefan Einspender
          1. 0
            Stefan Einspender
          2. 0
            Christian Seiler
            1. 0
              Stefan Einspender
              1. 0
                Christian Seiler
                1. 0
                  Stefan Einspender
                2. 0
                  Michael Schröpl
      4. 0
        MudGuard
  2. 0
    Christian Seiler
    1. 0
      Thomas J.S.
      1. 0
        Christian Seiler
        1. 0
          Thomas J.S.
          1. 0
            Johannes Zeller
            1. 0
              Thomas J.S.
          2. 0
            Johannes Zeller
            1. 0
              Tim Tepaße