Hallo Orlando!
Du könntest robots.txt berücksichtigen, da diese Datei ohnehin vorhanden sein dürfte/sollte.
Das ist natürlich ein sehr smarter Ansatz. Die robots.txt ist "Standard", man kann sich schön drauf "stützen".
MfG, André Laugks
nicht angemeldet