Hi,
Das müsste mit Meta-Tag ... noindex, nofollow zu machen sein?
mit robots.txt bzw. dem Meta-Tag noindex/nofollow machst Du den Crawlern Vorschläge.
Brave Crawler halten sich an diese Vorschläge.
Böse Crawler werden das nicht tun - die könnten im Gegenteil die robots.txt auslesen, um besonders interessante Verzeichnisse zu finden …
cu,
Andreas a/k/a MudGuard