robots.txt , wildcards und Reihenfolge

[suit]

Ist die folgende robots.txt Datei also geeignet, den spidern mitzuteilen, dass diese Dateien nicht mitindexiert werden sollten?

User-agent: *
Disallow: /kram/
Disallow: /test*
Allow: /

Damit verbietest du /kram/ (und darunter) und alles was mit /test* beginnt.

Danach gibst du für sämtliche Crawler die etwas mit Allow anfangen können alles wieder frei.

Diese Variante ist also imho ungeeignet.