Hi,
kann mir einer sagen was der Unterschied zwischen Metas in HTML Dateien und einer Robots.txt ist.
eine Robots.txt bringt Dir nichts; es muss schon robots.txt heißen. Der Unterschied ist, dass die robots.txt einen (freundlichen) Suchmaschinen-Robot dazu bringt, bestimmte Ressourcen gar nicht erst anzufordern.
Wie geht bzw wie erstellt man eine Robots.txt?
robots.txt ist eine reine Textdatei, die im Hauptverzeichnis Deines Servers liegt. Der Aufbau ist hinreichend oft beschrieben; weiter unten findest Du einen Thread mit 'robots.txt' im Subject, dort sind auch Links zu finden.
Wie funktioniert diese?
Sie funktioniert gar nicht. Ein (freundlicher) Suchmaschinen-Robot fordert sie an, analysiert und beachtet sie - ein unfreundlicher ignoriert sie.
Cheatah