Encoder: robots.txt wird von Google ignoriert

Beitrag lesen

Mal doof gefragt, warum weiß Google überhaupt von "deiner" Seite? Irgendwie muss Google die ja mal gefunden haben, durch einen Link oder jemand hat die Seite dort bekanntgegeben. Machst du vielleicht durch "Disallow: /kunden/" überhaupt erst neugierig, dass es diesen Unterordner gibt?
Warum gibts zwei Instanzen von der Seite?