Welchen HTTP-Status senden?

[suit]

403 Forbidden -> erscheint mir noch am sinnvollsten. Aber was machen die Suchmaschinen dann mit einer solchen Antwort?

Ohne die anderen Beiträge gelesen zu haben: Wenn du solche Seiten nicht per robots.txt aus dem Index ausschliesst, hast du was falsch gemacht.

Das ist Unfug - ob eine Ressource von Robots/Crawlern indiziert werden soll, hängt nicht davon ab, ob sie öffentlich einsehbar ist oder nicht.

Ein klassisches Beispiel sind Wissenschaftliche publikationen, die mit einer Paywall geschützt sind.

Da bekomme ich einen Abstract mit einer Zahlungsaufforderung und einem Login, die Ressource ist indiziert aber den kompletten Inhalt kann ich trotzdem nicht sehen, wenn ich über die nötigen Rechte verfüge.