hallo
was sperrt man sinnvollerweise mit disallow? Gehören dazu auch Bibliotheken mit CSS-Dateien oder php-Unterroutinen oder Ordner mit Bildern, die in den Seiten angeeigt werden?
disallow ist keine Sperre, sondern allenfalls eine Empfehlung, Inhalte nicht in einen öffentlichen Index aufzunehmen.