robots.txt

[Auge]

Hallo

»» »» Also liegt zu keinem Zeitpunkt das "außen angebotene, fertige" Dokument im Root-Verzeichnis.
»»
»» Auf dem Server nicht. Bei der Auslieferung spielt das aber keine Rolle, da du das Dokument bei Anforderung manipulierst (s.o.).
»»
Also sind wir ja einer Meinung!
Denn genau darum ging es doch, um das root im Server, ein anderes kenne ich nicht, Ich zitiere Dich:
Wenn also alle deine nach außen angebotenen, fertigen (von wegen inkludieren) Dokumente in der Root liegen, reicht auch der Zugriff auf Root.

Nur um Missverständnissen aus dem Weg zu gehen: Falls alle Dateien, die *direkt*, durch Aufruf oder Verlinkung, ausgeliefert werden sollen in der Root liegen, wird eine Suchmaschine nichts anderes suchen (solange alle anderen Verzeichnisse per robots.txt verboten sind und sich der Robot an diese Vorgaben hält[1]). Wenn, wie Patrick anmerkte, eine andere Datei irgendwo verlinkt ist (z.B. in einem Posting dieses Forums) und eine Suchmaschine Zugriff auf dieses eine Posting hat (z.B. im hiesigen Archiv) kann sie auch die entsprechende Datei finden und durchsuchen.

Wenn du dich davor schützen willst, musst du eine entsprechende Verzeichnisstruktur wählen (Dateien, deren Inhalt *ausschließlich* per serverseitigem inkludieren (z.B. SSI, PHP) zugänglich ist, können außerhalb der Document Root liegen, da sie von der serverseitigen Technik über das Dateisystem und nicht im HTTP-Kontext eigebunden werden) oder du legst die betreffenden Dateien in ein Verzeichnis innerhalb der Document Root, gegenüber dem sich jeder, der per HTTP(S) zugreift, authentifizieren muss (.htaccess). Dann käme bei direktem Zugriff die Aufforderung zur Authentifizierung und bei Misserfolg selbiger der Statuscode "403 forbidden".

[1] robots.txt hat Empfehlungscharakter, die Befolgung der dort hinterlegten Angaben ist also nicht verlässlich. Niemand kann gezwungen werden, sich danach zu richten, die gängigen SuMas tun es aber. Das gilt natürlich nicht für "böse" und wirklich böse Robots. Wenn der direkte Zugriff definitiv ausgeschlossen werden soll, musst du ihn aktiv unterbinden (siehe mein zweiter Absatz).

Tschö, Auge