robots.txt

[Auge]

Hallo

"In einer zentralen robots.txt können Sie dagegen unabhängig von der Datei- und Verweisstruktur Ihres Web-Projekts festlegen, welche Verzeichnisse und Verzeichnisbäume ausgelesen werden dürfen, und welche nicht."

Ich darf demnach etwas festlegen, was aber für die Katz ist?

Es ist für jene (ro)bots für die Katz, die sich nicht an die Vorgaben der robots.txt halten. Die, die es tun, entnehmen der Datei die Information, welche Verzeichnisse sie zu meiden haben. In letzteren Fällen ist es also *nicht* für die Katz, die robots.txt vorzuhalten.

Tschö, Auge