Seite nicht auffindbar - Was tun?

[Sven Rautenberg]

Moin!

Bei Queries wird es etwas schwiieriger, weil es eher die Frage ist, was sollen Index-Robots indexieren und was nicht. Es macht keinen Sinn wenn sie temporäre Query-Strings indexieren. Also deaktiviert man solche Links für Bots.

Das sehe ich komplett anders. Wenn eine URL einen Querystring enthält, dann kann dieser nicht "temporär" sein, weil er eine dauerhafte URL bildet. Eventuell sind die damit abrufbaren Informationen temporärer Natur, weil sie sich je nach Datenlage ändern können. Das trifft aber genauso auf alle anderen Formen von URLs zu.

Da du Id's erwähnst, ist es klug, solche Links vor Bots zu deaktivieren

Frage: Wie erkennt man, dass ein Request von einem Bot kommt?

Antwort: Gar nicht, HTTP kennt nur Requests, unterscheidet nicht zwischen "Browser-Request" und "Bot-Request".

Folglich kann man auch nicht einfach "Links vor Bots deaktivieren".

- Sven Rautenberg