Herbert: robots.txt sollen nur Suchmaschinen sehen

Guten Morgen

Wisst Ihr vieleicht ob es ist das Nur die Suchmaschinen die robots.txt lesen können?

Wenn Jemand anderes die txt aufruft soll eine html angezeigt werden.
Wir möchten es der Konkurenz erschweren nachzuschauen.

Vielen Dank für eure Hilfe

Herbert

  1. Hi,

    Wisst Ihr vieleicht ob es ist das Nur die Suchmaschinen die robots.txt lesen können?

    Es ist nicht.

    Wenn Jemand anderes die txt aufruft soll eine html angezeigt werden.

    Dann müsste man den User Agent des Requests, oder die IP-Adresse von der er kommt, auswerten, um auf einen Suchmaschinen-Bot zu schliessen - und davon abhängig das eine oder andere ausliefern.

    Das wäre allerdings eine ziemlich blöde Idee - denn wenn du einen Bot nicht "erwischt", dann bekommt der keine robots.txt zu sehen, und wird folglich alles spidern, was ihn interessiert.

    Wir möchten es der Konkurenz erschweren nachzuschauen.

    Aha. Und warum? Welche wertvollen Erkenntnisse sollte die daraus gewinnen können ...?

    MfG ChrisB

    --
    Light travels faster than sound - that's why most people appear bright until you hear them speak.
    1. Hallo ChrisB

      -----Aha. Und warum? Welche wertvollen Erkenntnisse sollte die daraus gewinnen können ...?

      Gute Frage.:
      Weil wir wollen nicht das die konkurenz Firmenrelevante Suchbegriffe
      (wo die selbst drauf kommen sollen) abkupfert.
      Aber wenn dadurch auch Spider Blockiert werden könnten, ist es auch wieder so ne Sache.

      Wird es so mit den Keywords gemacht?
      User-agent: *
      Disallow-by-key: Hunde
      Disallow-by-key: Kuchen

      Disallow-by-key: Hunde Kuchen

      Oder könnte man gleich Hundekuchen nehmen. Um unter Hunder oder Kuchen und unter Hunde Kuchen gefunden zu werden?

      Muss User-agent: *  weg oder muss es da bleiben

      Vielen Dank

      Horst

      1. Tach,

        Wird es so mit den Keywords gemacht?
        User-agent: *
        Disallow-by-key: Hunde

        nein, es gibt in robots.txt nichts derartiges.

        mfg
        Woodfighter

        1. Moin!

          »» Wird es so mit den Keywords gemacht?
          »» User-agent: *
          »» Disallow-by-key: Hunde

          nein, es gibt in robots.txt nichts derartiges.

          Genauer: Es gibt kein Disallow-by-key.

          Das hat sich mal jemand als Idee ausgedacht und in sein Blog geschrieben, ohne dass irgendeine Suchmaschine diese Idee aufgegriffen hätte, insbesondere weil die Effekte und Nebenwirkungen vollkommen unklar wären.

          Wenn man der Idee folgt, sollten alle genannten Keywords, die man anführt, von der Suchmaschine so genutzt werden, dass sie NICHT indiziert und für Suchergebnisse gewertet werden.

          Sprich: Selbst wenn die Idee funktionieren würde (was sie nicht tut), wäre es für einen Hersteller von Hundekuchen ein Schuß ins Knie, wenn er "Hunde", "Kuchen" und "Hundekuchen" als Suchworte ausschließt, um seine Seite nicht finden zu lassen, wenn jemand danach sucht.

          Sowas würde nur Sinn machen, wenn jemand nach Dingen sucht, die auf der Website garantiert nicht gefunden werden können, und dieser Nebenbei-Traffic sich nennenswert auf den Betrieb des Servers auswirkt. Also beispielsweise Katzenfotos beim Hundekuchenhersteller - sofern Suchworte, die auf Katzenfotos hindeuten könnten, sich auf den Seiten befinden.

          - Sven Rautenberg

        2. Hallo Tach,

          Ich habe aber oft gehört das viele den Suchmaschinen über eine txt Datei den Suchmaschinen befehlen mit bestimmten Keyword gefunden zu werden.

          Aber eigendlich klingt es auch logisch das es nicht geht, weil dafür ist  der Head bereich <META name="keywords" content="Hunde, Hunde Kuchen, Kuchen" zuständig und der Relevante Inhalt der Seite.

          Vielen DAnk für eure Antwort

          Harald

          1. Hi,

            Ich habe aber oft gehört das viele den Suchmaschinen über eine txt Datei den Suchmaschinen befehlen mit bestimmten Keyword gefunden zu werden.

            Glaub nicht jeden Mist, den du hörst ...

            Du kannst Suchmaschinen gar nicht "befehlen", bei welchen Begriffen du gefunden werden willst.

            Aber eigendlich klingt es auch logisch das es nicht geht, weil dafür ist  der Head bereich <META name="keywords" content="Hunde, Hunde Kuchen, Kuchen" zuständig

            Auch das werten aktuelle Suchmaschinen so gut wie gar nicht mehr aus.

            MfG ChrisB

            --
            Light travels faster than sound - that's why most people appear bright until you hear them speak.
          2. hi,

            Aber eigendlich klingt es auch logisch das es nicht geht, weil dafür ist  der Head bereich <META name="keywords" content="Hunde, Hunde Kuchen, Kuchen" zuständig und der Relevante Inhalt der Seite.

            Nur mal so angemerkt:

            Ich beschäftige mich seit ein Paar Wochen mit den Webmastertools von Google, dort werden zum einen Doppelte bzw. zu kurze <title> und zum anderen Doppelte bzw. zu kurze <description> angemahnt, <keyword>s wurden bisher nie erwähnt.

            In der Übersicht der zu bemängelnden Punkte in Punkto „Content-Analyse“ befinden sich folgende Elemente:

            Probleme mit der Metabeschreibung
            -- Doppelte Metabeschreibungen
            -- Lange Metabeschreibungen
            -- Kurze Metabeschreibungen

            Probleme mit den "title"-Tags
            -- Fehlende "title"-Tags
            -- Doppelte "title"-Tags
            -- Langer Text zwischen den "title"-Tags
            -- Kurzer Text zwischen den "title"-Tags
            -- Irrelevante "title"-Tags

            Das nutzen der Webmsater-Tools kostet nichts, ist aber definitiv einen Blick drauf Wert.

            mfg

            --
            echo '<pre>'; var_dump($Malcolm_Beck`s); echo '</pre>';
            array(2) {
              ["SELFCODE"]=>
              string(74) "ie:( fl:) br:> va:? ls:? fo:) rl:| n4:# ss:{ de:? js:} ch:? sh:( mo:? zu:("
              ["Meaningful"]=>
              string(?) "Der Sinn des Lebens ist deinem Leben einen Sinn zu geben"
            }
  2. hi,

    Wir möchten es der Konkurenz erschweren nachzuschauen.

    Da würde ich aber gerade ne robots.txt schreiben womit die Konkurrenz ne Weile beschäftigt ist. Wenn die mal nicht zu blöd dazu sind, ein Script zu schreiben...

    Hotte

    --
    Wenn der Kommentar nicht zum Code passt, kann auch der Code falsch sein.