nicht angemeldet
/web1/ /Web2/ .... .... /web120/
Kann man das mit Platzhaltern vor dem Indexieren durch Bots ausschließen? Bsp.: Disallow: /web*/ Ist diese Schreibweise möglich oder muss ich mir da was anderes einfallen lassen?
Ein Eintrag der robots.txt passt, wenn er mit dem Anfang des gegebenen Pfades übereinstimmt. Du kannst deine Verzeichnisse also mit der einfachen Angabe "Disallow: /web" ausschließen. Hast du allerdings noch andere Pfade, die mit /web beginnen (etwa /web/bla oder /webfaseldings.html), müsstest du den Zugriff auf diese mit entsprechenden, vorher erscheinenden Allow:-Zeilen erlauben (vorher, weil der erste passende Eintrag die Handlung bestimmt).
Platzhalter gab es in der ursprünglichen Spezifikation nicht. Google unterstützt sie (bzw. das Sternchen) auf die eine Weise, andere auf eine andere Weise, wieder andere überhaupt nicht. Ob du das Sternchen benutzt, hängt dementsprechend davon ab, wen du beglücken willst.
Bedenke im Übrigen, dass du keinen Bot im Wortsinne aussperren kannst. Betrachte die robots.txt als eine Empfehlung deinerseits.