robots.txt

[Bobo]

kleine Frage: welche Version ist richtig?

Theoretisch beide. Sie machen nur unterschiedliches.

Version 1

User-agent: *
Allow: /
Disallow: /beispiel1.html
Disallow: /beispiel2.html
Disallow: /beispiel3.html

Damit erlaubst du in "Allow: /" als Erstes sämtliche Pfade, die mit einem Schrägstrich beginnen. Da die robots.txt von oben nach unten abgearbeitet (werden sollte, ein gewisser Monopolist tanzt aus der Reihe), der erste Eintrag, dessen Muster mit dem Beginn des fraglichen Pfades übereinstimmt, genommen wird und sämtliche Pfade mit einem Schrägstrich beginnen, kommen die drei folgenden Zeilen nicht mehr zum Einsatz und können genauso gut weggelassen werden (wie eigentlich die ganze robots.txt im Allgemeinen und Allow: / im Speziellen, denn alles auszulesen, was nicht explizit verboten wurde, ist das normale Vorgehen).

Version 2

User-agent: *
Disallow: /beispiel1.html
Disallow: /beispiel2.html
Disallow: /beispiel3.html

Damit verbietest du die drei genannten Pfade, alles andere wird indiziert.

Allow: solltest du da benutzen, wo du, nachdem du A ausgeschlossen hast, etwas anderes unterhalb A doch erlauben willst:

Disallow: /beispiel
Allow: /beispiel1.html

… verbietet alle Pfade, die mit /beispiel beginnen (/beispiel, /beispieldings.html, /beispiel/bla.html, etc.), aber erlaubt den Pfad /beispiel1.html.