Auch rechtlich ist die robots.txt kein gutes Argument (ich widerspreche dem BGH).
Die robots.txt bezieht sich auf das Lesen der Ressourcen. Das Lesen einer öffentlich zugänglichen Ressource kann man nicht verbieten, also ist die robtots.txt auch nicht verbindlich.
index/noindex und archiv/noarchiv stellt dagegen eine Willenserklärung über eine Nutzungsform dar. Wenn es sich um Inhalte handelt, bei der die Nutzung von der Erlaubnis des Rechteinhabers abhängig ist, dann kann man wohl sagen, daß die Willenserklärung beachtet werden muß. Da keine Suchmaschine den Inhalt charakterisieren kann, muß sie jedes html-Dokument so behandeln als wäre die Nutzung von der Erlaubnis abhängig. Das gilt für das Urheberrecht, Persönlichkeitsrecht und jedes andere mögliche Gesetz. (Die Durchsetzbarkeit steht natürlich auf einem anderen Blatt.)