Nur ein Tipp, normalerweise kommt man da mit Bereichen, die ohne weiteres für Bots zugänglich sind und "geschützten" Bereichen. Die erreichbaren (ohne Login ereichbar) Bereiche erfordern dann halt irgendwann ein Login, wenns spezifisch werden soll.
Danke für den Tipp - aber ich weiss leider nicht genau, inwieweit / ob das nun meine Frage beantwortet / beantworten soll?