meta tag "roots"

[noscript]

Und ja, in einem Punkt gebe ich Dir recht: noindex

ist (als disallow) das einfachste in einer robots.txt, lässt sich dort sogar auf ganze Verzeichnisse anwenden und auf Nicht-HTML-Dateien