nicht angemeldet
guten abend,
meine robots.txt:
User-agent: *
Disallow: /
Allow: /index.html
stimmt es, dass den spidern damit nur erlaubt wird, die index.html zu durchsuchen und keine weiteren dateien/ordner/unterordner? die datei liegt natürlich im wurzelverzeichnis.
bin mir nicht sicher ob "Allow" "Disallow" überschreiben kann.
wenn nicht - wie geht das?
gruß,
steffen