TSO: wie robot.txt einbinden?

Beitrag lesen

PS.: ein Test mit http://de.onpage.org/free-tools/robots-txt/  ergab dass Google meine Webseite nun eigentlich nicht mehr finden dürfte.   Kann es sein dass die Suchmaschinen nicht sofort reagieren?

Nur so zur Information:
Die robots.txt verhindert nur, dass der Google-Bot deine Seiten abruft, nicht dass er sie indiziert.
Wenn sie bereits indiziert sind, dann wird eine Aufnahme in die robots.txt daran auch nichts ändern.

Gegen eine Indizierung hilft nur ein noindex-Meta-Tag im head der jeweiligen Seite. Und dieses Tag muss der Robot natürlich auch sehen können, also darf die Seite nicht in der robots.txt stehen.