robots.txt sollen nur Suchmaschinen sehen
Herbert
- html
5 ChrisB0 Horst0 Jens Holzkämper3 Sven Rautenberg0 Harald1 ChrisB0 Malcolm Beck´s
0 hotti
Guten Morgen
Wisst Ihr vieleicht ob es ist das Nur die Suchmaschinen die robots.txt lesen können?
Wenn Jemand anderes die txt aufruft soll eine html angezeigt werden.
Wir möchten es der Konkurenz erschweren nachzuschauen.
Vielen Dank für eure Hilfe
Herbert
Hi,
Wisst Ihr vieleicht ob es ist das Nur die Suchmaschinen die robots.txt lesen können?
Es ist nicht.
Wenn Jemand anderes die txt aufruft soll eine html angezeigt werden.
Dann müsste man den User Agent des Requests, oder die IP-Adresse von der er kommt, auswerten, um auf einen Suchmaschinen-Bot zu schliessen - und davon abhängig das eine oder andere ausliefern.
Das wäre allerdings eine ziemlich blöde Idee - denn wenn du einen Bot nicht "erwischt", dann bekommt der keine robots.txt zu sehen, und wird folglich alles spidern, was ihn interessiert.
Wir möchten es der Konkurenz erschweren nachzuschauen.
Aha. Und warum? Welche wertvollen Erkenntnisse sollte die daraus gewinnen können ...?
MfG ChrisB
Hallo ChrisB
-----Aha. Und warum? Welche wertvollen Erkenntnisse sollte die daraus gewinnen können ...?
Gute Frage.:
Weil wir wollen nicht das die konkurenz Firmenrelevante Suchbegriffe
(wo die selbst drauf kommen sollen) abkupfert.
Aber wenn dadurch auch Spider Blockiert werden könnten, ist es auch wieder so ne Sache.
Wird es so mit den Keywords gemacht?
User-agent: *
Disallow-by-key: Hunde
Disallow-by-key: Kuchen
Disallow-by-key: Hunde Kuchen
Oder könnte man gleich Hundekuchen nehmen. Um unter Hunder oder Kuchen und unter Hunde Kuchen gefunden zu werden?
Muss User-agent: * weg oder muss es da bleiben
Vielen Dank
Horst
Tach,
Wird es so mit den Keywords gemacht?
User-agent: *
Disallow-by-key: Hunde
nein, es gibt in robots.txt nichts derartiges.
mfg
Woodfighter
Moin!
»» Wird es so mit den Keywords gemacht?
»» User-agent: *
»» Disallow-by-key: Hundenein, es gibt in robots.txt nichts derartiges.
Genauer: Es gibt kein Disallow-by-key.
Das hat sich mal jemand als Idee ausgedacht und in sein Blog geschrieben, ohne dass irgendeine Suchmaschine diese Idee aufgegriffen hätte, insbesondere weil die Effekte und Nebenwirkungen vollkommen unklar wären.
Wenn man der Idee folgt, sollten alle genannten Keywords, die man anführt, von der Suchmaschine so genutzt werden, dass sie NICHT indiziert und für Suchergebnisse gewertet werden.
Sprich: Selbst wenn die Idee funktionieren würde (was sie nicht tut), wäre es für einen Hersteller von Hundekuchen ein Schuß ins Knie, wenn er "Hunde", "Kuchen" und "Hundekuchen" als Suchworte ausschließt, um seine Seite nicht finden zu lassen, wenn jemand danach sucht.
Sowas würde nur Sinn machen, wenn jemand nach Dingen sucht, die auf der Website garantiert nicht gefunden werden können, und dieser Nebenbei-Traffic sich nennenswert auf den Betrieb des Servers auswirkt. Also beispielsweise Katzenfotos beim Hundekuchenhersteller - sofern Suchworte, die auf Katzenfotos hindeuten könnten, sich auf den Seiten befinden.
- Sven Rautenberg
Hallo Tach,
Ich habe aber oft gehört das viele den Suchmaschinen über eine txt Datei den Suchmaschinen befehlen mit bestimmten Keyword gefunden zu werden.
Aber eigendlich klingt es auch logisch das es nicht geht, weil dafür ist der Head bereich <META name="keywords" content="Hunde, Hunde Kuchen, Kuchen" zuständig und der Relevante Inhalt der Seite.
Vielen DAnk für eure Antwort
Harald
Hi,
Ich habe aber oft gehört das viele den Suchmaschinen über eine txt Datei den Suchmaschinen befehlen mit bestimmten Keyword gefunden zu werden.
Glaub nicht jeden Mist, den du hörst ...
Du kannst Suchmaschinen gar nicht "befehlen", bei welchen Begriffen du gefunden werden willst.
Aber eigendlich klingt es auch logisch das es nicht geht, weil dafür ist der Head bereich <META name="keywords" content="Hunde, Hunde Kuchen, Kuchen" zuständig
Auch das werten aktuelle Suchmaschinen so gut wie gar nicht mehr aus.
MfG ChrisB
hi,
Aber eigendlich klingt es auch logisch das es nicht geht, weil dafür ist der Head bereich <META name="keywords" content="Hunde, Hunde Kuchen, Kuchen" zuständig und der Relevante Inhalt der Seite.
Nur mal so angemerkt:
Ich beschäftige mich seit ein Paar Wochen mit den Webmastertools von Google, dort werden zum einen Doppelte bzw. zu kurze <title>
und zum anderen Doppelte bzw. zu kurze <description>
angemahnt, <keyword>
s wurden bisher nie erwähnt.
In der Übersicht der zu bemängelnden Punkte in Punkto „Content-Analyse“ befinden sich folgende Elemente:
Probleme mit der Metabeschreibung
-- Doppelte Metabeschreibungen
-- Lange Metabeschreibungen
-- Kurze Metabeschreibungen
Probleme mit den "title"-Tags
-- Fehlende "title"-Tags
-- Doppelte "title"-Tags
-- Langer Text zwischen den "title"-Tags
-- Kurzer Text zwischen den "title"-Tags
-- Irrelevante "title"-Tags
Das nutzen der Webmsater-Tools kostet nichts, ist aber definitiv einen Blick drauf Wert.
mfg
hi,
Wir möchten es der Konkurenz erschweren nachzuschauen.
Da würde ich aber gerade ne robots.txt schreiben womit die Konkurrenz ne Weile beschäftigt ist. Wenn die mal nicht zu blöd dazu sind, ein Script zu schreiben...
Hotte