nicht angemeldet
Die Suchmaschinen bekommen ja nicht instantan mit, wenn auf irgendeiner von mittlerweile wohl hunderten Millionen wenn nicht gar Milliarden Websites eine robots.txt angelegt oder geändert wird. Die robots.txt wird dann zur Kenntnis genommen, wenn die Robots auf deiner Seite vorbeikommen. Das kann dann, je nach Dienst, auch erst nach ein paar Wochen sein.
Ach so. Ich dachte dass "Suchmaschine" und "Robot" das gleich sind, und die Webseite bei jeder Suche neu abgeklopft wird.
D.h. um zu prüfen ob sie tatsächlich nicht mehr gefunden wird, muss ich tatsächlich wie oben beschrieben z.B. http://de.onpage.org/free-tools/robots-txt/ dafür nutzen, solange bis Google seinen Index aktualisiert hat ...
danke euch fürs Schreiben
Aki
Auge
Matthias Apsel
Der Martin