Meine Frage diesbezüglich lautet: Durchsuchen denn die "bots" nur html oder php Dateien und nicht alle Dateien die auf dem Webspace liegen? Wie z.B .txt / . inc usw
Bots sehen nur das, was der Browser als Quelltext kriegt. Wenn du in einer PHP-Datei ein passwort definierst, es aber normalerweise nicht ausgibst, sieht kein Bot das.
Bots durchsuchen alles, was per HTTP erreichbar und irgendwo verlinkt ist.
Unterbinden kann man dies bei guten Bots per robots.txt
Wobei Spambots u.ä. wohl eher nicht gut sind und u.U. gerade solche gesperrten Adressen durchsuchen.