Seite nicht auffindbar - Was tun?

[Beat]

Bei Queries wird es etwas schwiieriger, weil es eher die Frage ist, was sollen Index-Robots indexieren und was nicht. Es macht keinen Sinn wenn sie temporäre Query-Strings indexieren. Also deaktiviert man solche Links für Bots.
Das sehe ich komplett anders. Wenn eine URL einen Querystring enthält, dann kann dieser nicht "temporär" sein, weil er eine dauerhafte URL bildet. Eventuell sind die damit abrufbaren Informationen temporärer Natur, weil sie sich je nach Datenlage ändern können. Das trifft aber genauso auf alle anderen Formen von URLs zu.

Weist du, wie Yahoo mit Query-Strings umgeht?
Da besteht dadurch ein Unterschied.
Die Praxis weicht oft von der Theorie ab.

Da du Id's erwähnst, ist es klug, solche Links vor Bots zu deaktivieren
Frage: Wie erkennt man, dass ein Request von einem Bot kommt?

Indem du dich auf das user-Agent-Feld für einmal verlässt. Es geht nicht um Sicherheit sondern um angemessene Effektivität.

Antwort: Gar nicht, HTTP kennt nur Requests, unterscheidet nicht zwischen "Browser-Request" und "Bot-Request".

Ach...

Folglich kann man auch nicht einfach "Links vor Bots deaktivieren".

• Sven Rautenberg

Ich habe Session Ids in Urls (ja ich kenne die Vor- und Nachteile), und ich kenne die sehr gefrässige Natur, vor allem von MSN.
Da es mir primär darum geht, hier die unnötige Last abzubauen, leiste ich es mir, mich in diesem Fall auf die User-Agent Strings zu verlassen und entsprechende Links für diese Bots zu deaktivieren. Übrig bleiben ihnen Bookmarklinks.

Um den Fall zu beurteilen braucht es mehr Info.

mfg Beat