Google Bot crawlt Seiten (Archive), die nicht verlinkt sind.

[astera]

Hello,

»» Warum wirft mir dann einerseites das Plugin einen 404er raus und andererseits, wenn ich auf den Link klicke, wird mir (per permanent redirect), eine gültige Seite angezeigt?

Du solltest dies mal mit eingeschalteter Life-Headers-Anzeige an Deinem Browser tun, dann siehst Du den Grund. Aber vorher Cache leeren oder zumindest STRG-F5 benutzten.

Dein Tool wird der Umleitung nicht folgen, sondern nur plump einen Header auswerten.
Da wird dann aber auch kein 404 kommen, sondern einfach die Reaktion auf "no body".

Liebe Grüße aus dem schönen Oberharz

Tom vom Berg

Hallo Tom,

vielen Dank für den Tip mit dem Live Header. Hab das mal im FF alls Addon installiert und für den redirect folgendes gefunden:
************************Schnipp***************************
http://kuchen-web.de/2008/03/26/lockerer

GET /2008/03/26/lockerer HTTP/1.1
Host: kuchen-web.de
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10 (.NET CLR 3.5.30729)
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Cookie: __utma=26160807.1488952983.1236017590.1243324588.1243327384.88; __utmz=26160807.1243109703.79.18.utmccn=(organic)|utmcsr=yahoo|utmctr=Rezept+Rhabarbertorte|utmcmd=organic; CHC_COUNT_PROTECTION=do_not_count_me; CHC_LOGIN=astera%7E7ac1171d19ee22af506b25a546dd826d; __utmc=26160807; PHPSESSID=82379edd0aab844f7eaad1f59b7f4848; __utmb=26160807.4.10.1243327384

HTTP/1.x 301 Moved Permanently
Transfer-Encoding: chunked
Date: Tue, 26 May 2009 08:56:15 GMT
Content-Type: text/html; charset=UTF-8
Expires: Tue, 26 May 2009 08:56:15 GMT
Cache-Control: no-cache, must-revalidate, max-age=0
Server: Apache
Pragma: no-cache
X-Pingback: http://www.kuchen-web.de/xmlrpc.php
X-Powered-By: PHP/5.2.9
Last-Modified: Tue, 26 May 2009 08:56:15 GMT
Location: http://www.kuchen-web.de/ratgeber-backen/lockerer-hefeteig/
******************Schnapp********************

Mein Tool (Plugin) für Wordpress gibt aber aus:
****************Schnipp*************
404 Report - a file not found error was registered on your site.

404 URL:     http://kuchen-web.de/2008/03/26/lockerer

Referred by:

User Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10 (.NET CLR 3.5.30729)
***************Schnapp********************
Hier gibt es keinen Referrer und es war kein Bot, sondern ein User aber was hat es mit dem Link:
http://kuchen-web.de/2008/03/26/lockerer
auf sich?
Den gibt es bei mir nicht und ich glaube auch nicht, dass sich ein User den als BM gespeichert hat.

LG
astera