Robots.txt - Stimmt meine Erklärung?

[Cheatah]

Hi,

<Meta Name="Siteinfo" content="http://www.selfhtml.org/robots.txt">
Für was ist eigentlich dieser Meta-tag?

für nichts. Ein (guter[1]) Robot wird, wenn er eine URL vorgesetzt bekommt, zunächst die /robots.txt laden und nachsehen, ob er die URL laden darf. Erst dann hat er die Möglichkeit, eine HTML-Ressource mit obigem <meta>-Tag zu erhalten - dann ist es aber zu spät.

Ich dachte die robots.txt muss in das root-Verzeichnist and that it is!?

Exakt.

Cheatah

[1] Ein nicht so guter ignoriert die robots.txt halt.