Hi,
ich habe aus den Beiträgen gelernt, dass ich gar kein disallow verwende. Der Aufwand, den Regina Schaukrug beschrieb, ist mir zu hoch, und den böswilligen bots möchte ich nicht auch noch Tipps geben, wie sie gezielt suchen könnten.
Die besseren Tipps kriegst Du von Google. Suche den Dialog mit denen und dann lernst Du auch den richtigen Umgang mit der robots.txt Datei.
MfG