Bilder und Suchmaschinen

[Rolf B]

Hallo Treziman,

dass ein Crawler weiter in den Verzeichnisstamm vordringt,

Das tut er von sich aus nicht, weil er es im Normalfall nicht kann. Ein Crawler folgt Links, er kann Verzeichnisse nur lesen, wenn sie auch vom Browser abrufbar sind. Sowas kann man serverseitig aktivieren, das ist aber standardmäßig nicht der Fall.

Wenn der Ordner "bilder" heißt und der Abruf von https://www.example.com/bilder im Browser den Inhalt des Ordners auflistet, dann ist das aktiv und gehört abgeschaltet.

Wie man es richtig(er) macht, steht schon in anderen Antworten geschrieben.

Rolf