Stefan Einspender: Content Negotiation über den UserAgent

Beitrag lesen

Hallo Michael,

aber wie will er die Seite in seinen Index aufnehmen, wenn er den Inhalt von Dir nicht ausgeliefert bekommt?
Es mag ja sein, daß die Seite über eine "site:your_domain"-Suche dann noch gefunden werden kann, nicht aber über eine Suche nach etwas aus ihrem Inhalt.

sogesehen stimmt es, die Inhalte werden nicht indiziert, da es die
ja auch nicht mehr gibt. Was ist allerdings mit Seiten, die über
robots.txt geblockt werden, weil sie einfach nicht im Index
stehen sollen. Die indiziert ja Google dann trotzdem, was sehr
ärgerlich ist. Für meine Patchworkseite (also die mit den Icons)
habe ich da bereits Massnahmen ergriffen, der Googlebot bekommt
da nicht den richtigen Inhalt sondern nur einen Link auf die
Homepage des Projektes angeboten.

Du hast zwei Möglichkeiten: Entweder Du vertraust darauf, daß Google alles richtig macht, oder ... technisch gesehen ist die Alternative nichts anderes als das Suchmaschinen-Spamming, was Google selbst wie die Pest haßt. Aber wenn sie Dir keine andere Möglichkeit lassen?

Ich werde mal noch 403 und 404 ausprobieren, auch so, dass es nur
der Googlebot bekommt. Lustig ist, dass Google selbst für einige
Programme einen 403 ausliefert, so z.Bsp. für Xenu. Habe ich zu-
fällig entdeckt, als ich die Links auf Favicon.de gecheckt habe.

Viele Grüße,
Stefan