Matthias Apsel: Seiten über robots.txt sperren

Beitrag lesen

SELF-Forum

Seiten über robots.txt sperren

Matthias Apsel Homepage des Autors
– Informationen zu den Bewertungsregeln

Hallo pl,

ein Bot macht: Er folgt jedem URL, es sei denn, die Datei robots.txt verbietet es.

… und der Bot respektiert dieses Verbot.

Bis demnächst
Matthias

--
Rosen sind rot.
Beitrag melden
–
Informationen zu den Bewertungsregeln
0 52

Seiten über robots.txt sperren

Jürgen
  • sonstiges
  1. 0
    Christian Kruse
    1. 0
      beatovich
      1. 1
        Christian Kruse
        1. 0
          beatovich
          1. 0
            Christian Kruse
  2. 0
    beatovich
    1. 0
      Matthias Apsel
      1. 0
        beatovich
        1. 0
          Regina Schaukrug
          1. 1
            Tabellenkalk
  3. 2
    Regina Schaukrug
    1. 1

      robots.txt-Funktionsweise

      Singsang
      1. 0
        Regina Schaukrug
  4. 0
    pl
    1. 0
      Mitleser
      1. 0
        pl
        1. 0
          Mitleser
          1. 0
            Mitleser
            1. 2
              Mitleser
            2. 0
              beatovich
              1. 0
                Mitleser
              2. 0
                pl
          2. 0
            pl
            1. 0
              Mitleser
              1. -1
                pl
                1. 0
                  Matthias Apsel
                  1. 0

                    Bots unterstützen!

                    pl
                    1. 0
                      Matthias Apsel
                      1. 0
                        pl
                2. 0
                  Mitleser
                  1. 0
                    pl
                    1. 0
                      Mitleser
                      1. 0
                        Christian Kruse
                        1. 0
                          Mitleser
                          1. 0
                            pl
                            1. 0
                              beatovich
                              1. -2
                                pl
                            2. 0
                              Mitleser
                              1. 0
                                pl
                          2. 0
                            Christian Kruse
  5. 0
    Jürgen
    1. 0
      beatovich
    2. 0
      pl
      • suchmaschinen
      1. 0
        Jürgen
      2. 0
        beatovich
    3. 2
      Singsang
      1. 0
        pl
        1. 2
          Singsang
          1. 0
            Regina Schaukrug
            1. 0
              pl
      2. 1

        Alles was interessant ist heißt "Pfui!"

        Regina Schaukrug