robots.txt

[Patrick Andrieu]

Hallo Pink!

»» Das werden sie solange ignorieren, bis Du sie irgendwo als solche verlinkst.
Gilt dies auch, wenn sie die Endung shtml haben, also als HTML-Datei gelten,

Ja. Du kannst .shtml-Dateien in einer .shtml-Datei inkludieren, das ist für den Client Jacke wie Hose: er bekommt das Ergebnis geliefert.

denn meine index.shtml ist auch in Google erschienen kurz nachdem ich sie ins Netz gestellt habe (ohne dass ich sie bekanntgemacht bzw. verlinkt hätte)

Da wirst Du sie schon irgendwo verlinkt haben (vielleicht hier und der Thread ist im Archiv) oder sie erscheint auf einer Statistik, auf welchen die SuMas Zugriff haben - weil öffentlich. Auch für SuMas gilt: Was sie nicht kennen, können sie nicht indizieren, was sie indiziert haben, kennen sie bereits (von wo, das müsstest Du auslotsen).

»» Einen speziellen Schutz brauchst Du also nicht. Allenfalls das Directory-Listing mittels .htaccess unterbinden
Bedeutet dies, dass niemand das Verzeichnis nach Dateien durchsuchen kann und man Dateien nur aufrufen könnte, wenn man den Namen kennt (z.B. wie Du geschrieben hast durch einen vorhandenen Link)?

Ja. Wenn das Directory-Listing seitens Apache-Konfiguration oder .htaccess-Direktive unterbunden wird, bekommt der Client einen 403-Forbidden. Wenn im Verzeichnis eine index.htm* (oder default.htm* oder wie auch immer der Webserver konfiguriert ist), bekommt der Client eben diese Datei zu sehen, wenn der Request:

http://www.example.com/dein_include_dir

erfolgt.

Und die Neugierdeseite weil vor allem nach index... gesucht wird?

Bei meinem Server ist default.htm als Default. Wenn es keine gibt, wird nach index.htm gesucht, wenn es keine gibt, wird nach index.html gesucht. Also reichte es für mich, die Neugierdeseite »index.html« zu nennen.

Viele Grüße aus Frankfurt/Main,
Patrick