nicht angemeldet
Zugang nur Passwort - auch Spider?
Gunnar Bittersmannhallo zusammen,
wenn ich meine seite mittels passwort schütze (per eintrag in .htaccess), sind diese dann auch "gegen" suchmaschinen-spider geschützt?
ich glaube nicht, man muss wohl noch in der robots.txt entsprechende einträge setzen, obwohl der seitenzugang passwort geschützt ist.
ist das korrekt?
-
Hello out there!
wenn ich meine seite mittels passwort schütze (per eintrag in .htaccess), sind diese dann auch "gegen" suchmaschinen-spider geschützt?
Ja. Ein Spider ist ein Agent wie ein user agent (Nutzerprogramm, Browser).
See ya up the road,
Gunnar--
„Wer Gründe anhört, kommt in Gefahr nachzugeben.“ (Goethe)-
hi Gunnar,
danke dir!
dann muss ich also keine disallow einträge in der robots.txt definieren.
nice day!
-
Hello out there!
dann muss ich also keine disallow einträge in der robots.txt definieren.
Was aber dennoch nicht schaden würde. Dann müsste der Spider nicht erst die Ressourcen anfordern um festzustellen, dass er sie nicht lesen kann.
See ya up the road,
Gunnar--
„Wer Gründe anhört, kommt in Gefahr nachzugeben.“ (Goethe)
-
-