robots.txt-Funktionsweise

[Singsang]

• Verbiete also z.B. nicht den Zugriff auf die /kontakt.php sondern auf /kont*

Das Sternchen ist a) eine Google-eigene Erweiterung (vielleicht akzeptieren es mittlerweile auch andere, sollte aber IMHO trotzdem vermieden werden) und b) am Ende des Musters sowieso sinnlos, weil die Einträge in der robots.txt immer mit dem Anfang des betreffenden Pfades verglichen werden; der Eintrag /kont bedeutet "ein Pfad, der mit /kont beginnt".
Der Vergleich erfolgt zudem rein zeichenbasiert, Pfade werden nicht beachtet; /kont passt auf /kontakt genauso wie auf /kont/tra oder /kont.ur.

Und bei der Gelegenheit ein Punkt, den ebenfalls viele Leute an der robots.txt nicht verstanden haben: Sie wird eigentlich von oben nach unten abgearbeitet, der erste passende Eintrag bestimmt das weitere vorgehen. Wird "Disallow: /bla" von "Allow: bla/fasel" gefolgt, ist entsprechend letzteres wirkungslos, weil ein Pfad /bla/faseldidumm schon bei /bla passt.

Google ignoriert allerdings auch hier die ursprüngliche robots.txt-Definition und arbeitet IIRC erst die Allow-Zeilen ab, dann die Disallow-Zeilen.