Michael Schröpl: Schutz gegen 'Crawler-Attacken'

Beitrag lesen

Hi Andreas,

Nein. Robots haben im aktuellen Forum absolut nichts verloren, was bringt es normale Threads zu indizieren? Die gelten doch eh nur ein paar Tage. Also kann man den Zugriff doch am besten für crawler sperren, besser wäre eine robots.txt, nur geht das dann nicht mit dem Archiv.

warum soll das mit dem Archiv nicht gehen?
"/archiv/" ist ein Unterverzeichnis der Forum-Domain, disjunkt zum 'aktiven' Teil des Forums.

Falls dies noch nicht reichen sollte, um entsprechende "robots.txt"-Regeln zu definieren, müßte schlimmstenfalls das 'aktive' Forum ebenfalls in ein Unterverzeichnis ausgelagert werden; auf der Domain-Wurzel könnte man dann eine automatische Weiterleitung (HTTP-301?) dorthin einfügen, um bestehende Bookmarks weiterhin kompatibel zu bedienen.

Viele Grüße
      Michael

--
T'Pol: I apologize if I acted inappropriately.
V'Lar: Not at all. In fact, your bluntness made me reconsider some of my positions. Much as it has now.
(sh:| fo:} ch:] rl:( br:^ n4:( ie:% mo:) va:| de:/ zu:| fl:( ss:) ls:~ js:|)
 => http://www.peter.in-berlin.de/projekte/selfcode/?code=sh%3A|+fo%3A}+ch%3A]+rl%3A(+br%3A^+n4%3A(+ie%3A%25+mo%3A)+va%3A|+de%3A%2F+zu%3A|+fl%3A(+ss%3A)+ls%3A~+js%3A|
Auch diese Signatur wird an korrekt konfigurierte Browser gzip-komprimiert übertragen.
0 44

Verbreitung von Schriftarten, Browsern, etc. im Internet?

Elessar
  • sonstiges
  1. 0
    Johannes Zeller
    1. 0

      37 GB Traffic an einem Tag?

      Stefan Einspender
      • zu diesem forum
      1. 0
        MudGuard
        1. 0
          Stefan Einspender
        2. 0
          Andreas Korthaus
      2. 0
        Sven Rautenberg
        1. 0
          Stefan Einspender
          1. 0
            Ole
          2. 0
            Thomas J.S.
          3. 0
            Frank Schönmann
        2. 0
          Andreas Korthaus
          1. 0
            Stefan Einspender
          2. 0
            MudGuard
            1. 0
              Andreas Korthaus
              1. 0
                Andreas Korthaus
                1. 0
                  Thomas J.S.
                  1. 0
                    Michael Schröpl
                    1. 0

                      Schutz gegen 'Crawler-Attacken'

                      Andreas Korthaus
                      1. 0
                        Michael Schröpl
                        1. 0
                          Andreas Korthaus
                          1. 0
                            Andres Freund
                            1. 0
                              Michael Schröpl
                              1. 0
                                Andreas Korthaus
                              2. 0
                                Andres Freund
                                1. 0
                                  Michael Schröpl
                          2. 0
                            Michael Schröpl
      3. 0
        Andreas Korthaus
        1. 0
          Stefan Einspender
          1. 0
            Stefan Einspender
          2. 0
            Christian Seiler
            1. 0
              Stefan Einspender
              1. 0
                Christian Seiler
                1. 0
                  Stefan Einspender
                2. 0
                  Michael Schröpl
      4. 0
        MudGuard
  2. 0
    Christian Seiler
    1. 0
      Thomas J.S.
      1. 0
        Christian Seiler
        1. 0
          Thomas J.S.
          1. 0
            Johannes Zeller
            1. 0
              Thomas J.S.
          2. 0
            Johannes Zeller
            1. 0
              Tim Tepaße