Hallo,
Zu Deiner ersten Frage kann ich leider nichts sagen, aber zur zweiten:
Gibt es eine verbindung zwischen der robots.txt und den meta angaben?
Nur indirekt. Beide können von Suchmaschinen dazu genutzt werden, mehr darüber zu erfahren, was sie für eine Seite vorfinden, in sofern hängt es zusammen.
Über die "robots.txt" wird aber i.d.Regel nur festgelegt, welche Bereiche einer Seite ein Robot (z.b. Google) besuchen soll und welche nicht. Die Meta-Tags hingegen sagen ja meist etwas über den Inhalt einer Seite aus. Insofern besteht da eigentlich kein Zusammenhang.
Was beiden wieder gemeinsam ist, ist, dass eine Suchmaschine sich nicht zwingend daran halten muss, weder an die robots.txt noch an die Meta-Tags ;)
Viele Grüße,
Jörg