Jan: BOTS aussperren

SELF-Forum

BOTS aussperren

Jan
– Informationen zu den Bewertungsregeln

Hallo zusammen,

ich versuche mit folgenden Einträgen in der httpd.conf diese Bots auszusperren, leider ohne Erfolg, sie tauchen immer wieder in den Logfiles auf.

Ich denke der Reguläüre ausdruck mit dem User-Agent stimmt nicht.

Kann mir da jemand helfen?

SetEnvIfNoCase User-Agent "^MJ12bot(.*)" stay_out
SetEnvIfNoCase User-Agent "Googlebot" stay_out
SetEnvIfNoCase User-Agent "Slurp" stay_out

<Location />
Order Allow,Deny
Deny from env=stay_out
Allow from all
</Location>

Lieben Gruß Jan

Beitrag melden
–
Informationen zu den Bewertungsregeln

  1. BOTS aussperren

    Cybaer Homepage des Autors
    – Informationen zu den Bewertungsregeln

    Hi,

    ich versuche mit folgenden Einträgen in der httpd.conf diese Bots auszusperren, leider ohne Erfolg, sie tauchen immer wieder in den Logfiles auf.

    Leg einfach eine robots.txt an, mit diesen Bots der Zugriff generell (also bereits auf Rootebene) verboten wird.

    Gute Bots (also genannte) halten sich daran). Wenn sich böse Bots nicht daran halten wollen, kannst Du mit der Abfrage des UAs auch nichts verhindern.

    Gruß, Cybaer

    --
    Man kann doch sehr leicht jenen tugendhaften Menschen begegnen, (...) die eine Art "unkrümmbaren Zeigefinger" besitzen, der ständig den kalten Wind des Rechthabens ausströmt. (Wolfgang Huber, Bischof)
    Die Tugend jagt nicht den Teufel, sondern den Sündhaften. Damit wird sie zum Terror. (Hans-Ulrich Jörges, Journalist)
    Beitrag melden
    –
    Informationen zu den Bewertungsregeln

    1. BOTS aussperren

      Jan
      – Informationen zu den Bewertungsregeln

      Hi,

      kann ich denn eine "globale" robots.txt anlegen, oder muss ich die für jedes Web in den HTML-Ordner legen?

      Danke und Gruß Jan

      Beitrag melden
      –
      Informationen zu den Bewertungsregeln

      1. BOTS aussperren

        Matt
        – Informationen zu den Bewertungsregeln

        kann ich denn eine "globale" robots.txt anlegen, oder muss ich die für jedes Web in den HTML-Ordner legen?

        http://de.selfhtml.org/diverses/robots.htm

        Beitrag melden
        –
        Informationen zu den Bewertungsregeln

      2. BOTS aussperren

        Cybaer Homepage des Autors
        – Informationen zu den Bewertungsregeln

        Hi,

        kann ich denn eine "globale" robots.txt anlegen, oder muss ich die für jedes Web in den HTML-Ordner legen?

        Für jede Website einmalig in die Document-Root-Ebene.

        Oder natürlich einmalig und einfach überall als Link anlegen.

        Oder natürlich einmalig und dessen Inhalt beim HTTP-Zugriff ausgeben lassen (mod_alias oder mod_rewrite)

        Gruß, Cybaer

        --
        Man kann doch sehr leicht jenen tugendhaften Menschen begegnen, (...) die eine Art "unkrümmbaren Zeigefinger" besitzen, der ständig den kalten Wind des Rechthabens ausströmt. (Wolfgang Huber, Bischof)
        Die Tugend jagt nicht den Teufel, sondern den Sündhaften. Damit wird sie zum Terror. (Hans-Ulrich Jörges, Journalist)
        Beitrag melden
        –
        Informationen zu den Bewertungsregeln

  2. BOTS aussperren

    Sven Rautenberg Homepage des Autors
    – Informationen zu den Bewertungsregeln

    Moin!

    ich versuche mit folgenden Einträgen in der httpd.conf diese Bots auszusperren

    Gegen was soll das denn helfen?

    - Sven Rautenberg

    --
    "Love your nation - respect the others."
    Beitrag melden
    –
    Informationen zu den Bewertungsregeln