Googlebot

[Bernd S]

Hallo,

da ich schon länger auf den Durchlauf des Googlebots warte, wollte ich bei den Profis mal kurz nachfragen, ob das Ausbleiben eines Google-Listings vielleicht an einer kleinen Dummheit/Schribfehler von mir liegt

meine robts.txt:
User-agent: Googlebot
Disallow: /test2/
Disallow: /bilder/

User-agent: *
Disallow: /

es soll also nur Google Zugriff auf die Seite haben,

grüsse bernd

[Tobi]

Hi!

meine robts.txt:

robots.txt

User-agent: Googlebot
Disallow: /test2/
Disallow: /bilder/

User-agent: *
Disallow: /

es soll also nur Google Zugriff auf die Seite haben,

grüsse bernd

unter http://www.domainanmelden.de findest du einen direkten link zur google anmeldung.

mfg.
tobi

[Bernd S]

danke tobi

aber das bringt nicht so arg viel, falls die robots.txt falsch wäre ...

grüsse bernd

[Tobi]

danke tobi

aber das bringt nicht so arg viel, falls die robots.txt falsch wäre ...

grüsse bernd

nachtrag
(gefunden unter domainanmelden.de [ Werbung ;-) ] -> google.de)

http://www.robotstxt.org/wc/norobots.html

mfg
tobi

[Andre]

Hi bernd,

möglich wäre das schon - ich bin aber kein Fachmann auf diesem Gebiet. Also ich lese diesen Text so:
Der Googlebot soll kein Zugriff auf die Verzeichnisse /test2/ sowie /bilder/ erhalten?! (alle anderen Bots dürfen das Verzeichnis also lesen?!) und anschliessend verbietest du dann allen Bots (*) überhaupt irgend ein Verzeichnis lesen zu dürfen (also auch dem Googlebot?!).

meine robts.txt:
User-agent: Googlebot
Disallow: /test2/
Disallow: /bilder/

User-agent: *
Disallow: /

Ich würde es so versuchen:

User-agent: *
Disallow: /test2/
Disallow: /bilder/

User-agent: Googlebot
Allow: /
Disallow: /test2/
Disallow: /bilder/

hier noch ein hilfreicher link:
    http://selfhtml.teamone.de/diverses/robots.htm#allgemeines

Grüße - Andre

[Bernd S]

Ich würde es so versuchen:

User-agent: *
Disallow: /test2/
Disallow: /bilder/

User-agent: Googlebot
Allow: /
Disallow: /test2/
Disallow: /bilder/

also meine intention:
NUR der googlebot soll die seite durchsuchen dürfen (bis auf einige VZ), alle anderen Bots sind ausgeschlossen

[Andre]

Hi bernd,

also meine intention:
NUR der googlebot soll die seite durchsuchen dürfen (bis auf einige VZ), alle anderen Bots sind ausgeschlossen

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /
Disallow: /test2/
Disallow: /bilder/

bei oberen Text werden zunächst alle Bots gesperrt - anschliessend wird dem Googlebot der Zugriff auf die gesamte Site erlaubt und danach die beiden genannten Verzeichnise wieder gesperrt.

Grüße - Andre

[Bernd S]

bei oberen Text werden zunächst alle Bots gesperrt - anschliessend wird dem Googlebot der Zugriff auf die gesamte Site erlaubt und danach die beiden genannten Verzeichnise wieder gesperrt.

danke, ich probiere es mal aus

dürfte aber eigentlich keinen unterschied ausmachen

mfg Bernd

[Andre]

Hi bernd,

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /
Disallow: /test2/
Disallow: /bilder/

Eine kleine Änderung. Schreibe an Stelle von "Allow: /" einfach "Disallow: ", ohne einen Eintrag hinter dem ':' das sollte das Bewirken was ich meinte. (Grüße und Danke an Andreas Korthaus)

Viele Grüße - Andre

[Bernd S]

Eine kleine Änderung. Schreibe an Stelle von "Allow: /" einfach "Disallow: ", ohne einen Eintrag hinter dem ':' das sollte das Bewirken was ich meinte. (Grüße und Danke an Andreas Korthaus)

Hi Andre
dann kann ich das "Disallow: " doch eigentlich komplett weglassen (so wie in  einer 1. version) ?

mfg Bernd

[Andre]

Hi Bernd,

dann kann ich das "Disallow: " doch eigentlich komplett weglassen (so wie in  einer 1. version) ?

Nein. "Disallow: " bewirkt das alle Verzeichnisse gelesen werden dürfen. Um dann nachträglich bestimmte Verzeichnisse zu sperren.

Grüße - Andre

[Bernd S]

Nein. "Disallow: " bewirkt das alle Verzeichnisse gelesen werden dürfen. Um dann nachträglich bestimmte Verzeichnisse zu sperren.

Nach meinem Wissen impliziert die Aussperrung eines speziellen VZ die Erlaubnis, die anderen nicht explizit ausgeschlossenen VZ zu listen

Um aber auf Nummer sicher zu gehen, werde ich speziell für den Agent Googlebot folgendes einfügen:
Allow: / # alles erlauben
Disallow: /test2/ # spezielles VZ ausblenden

grüsse Bernd

[Andre]

Nach meinem Wissen impliziert die Aussperrung eines speziellen VZ die Erlaubnis, die anderen nicht explizit ausgeschlossenen VZ zu listen

Wie gesagt ich bin kein Spezialist für Robots.txt. Ich weiss nicht in wie weit die einzelnen Absätze zusammen hängen. Aber ich glaube da ich im ersten Absatz alle Vezeichnisse für alle Bots gesperrt habe, diese nachher für den Googlebot erst wieder öffnen zu müssen. - Aber ich kann mich da auch täuschen. (weisst du wie ichs meine?)

Grüße - Andre

[Bernd S]

Wie gesagt ich bin kein Spezialist für Robots.txt. Ich weiss nicht in wie weit die einzelnen Absätze zusammen hängen. Aber ich glaube da ich im ersten Absatz alle Vezeichnisse für alle Bots gesperrt habe, diese nachher für den Googlebot erst wieder öffnen zu müssen. - Aber ich kann mich da auch täuschen. (weisst du wie ichs meine?)

also ich habe es jetzt endgülig so:
User-agent: Googlebot
Allow: /
Disallow: /test2/
Disallow: /bilder/

User-agent: *
Disallow: /

leider wird man erst in vielen wochen (monaten?) sehen können, ob das richtig ist

Jeder Bot wertet die Regeln wohl anders (besonders deren Reihenfolge), aber bei Google steht, dass die längtse Regel die wichtigste ist

[Andre]

Kannst ja mal posten wenn du weisst obs klappt. ;)

Grüße - Andre

[Andreas Korthaus]

Hi!

Allow: /

Das gibt es nicht!

hier noch ein hilfreicher link:
    http://selfhtml.teamone.de/diverses/robots.htm#allgemeines

Das ist so nicht ganz richtig, zur Zeit ist sowas wie "allow" nicht implementiert.

http://www.robotstxt.org

Grüße
Andreas

PS: </faq/#Q-19>

[Bernd S]

Allow: /
Das gibt es nicht!

hallo, da dies nur unter dem Aggnet "Googlebot" erwähnt werden würde (siehe letztes Posting) wäre es ok, da dies ein spezieller Google-Tag ist

gruesse Bernd

[Andreas Korthaus]

Hi!

hallo, da dies nur unter dem Aggnet "Googlebot" erwähnt werden würde (siehe letztes Posting) wäre es ok, da dies ein spezieller Google-Tag ist

Woher weißt Du das/wo steht das?

Grüße
Andreas

[Frank Schönmann]

hi!

hallo, da dies nur unter dem Aggnet "Googlebot" erwähnt werden
würde (siehe letztes Posting) wäre es ok, da dies ein spezieller
Google-Tag ist
Woher weißt Du das/wo steht das?

http://www.google.com/webmasters/faq.html#nocrawl

bye, Frank!