robot.txt

[Christian Kruse]

Hallo Martin,

aber man kann mit serverseitigen Techniken und User Agent Sniffing versuchen, bekannte Bots als Clients zu erkennen, und denen dann Teile des Dokuments vorenthalten.

Kann man machen, führt aber, wenn man erwischt wird, ggfls dazu, dass man „bestraft“ wird. Google sieht das überhaupt nicht gerne; das war mal eine beliebte Strategie, um User via Google auf eine Seite zu bekommen. Der Google-Bot hat dann andere Inhalte bekommen als der User, was dann dazu geführt hat, dass die Suchergebnisse nicht mit dem tatsächlichen Dokument übereinstimmten.

LG,
CK