Hallo,
Vorstellen kann ich mir, wie Mathias schon vermutete, dass der Bot den JS Code einliest und auf eventuelle vorhandene Links anspringt,
Genau. Natürlich wird nicht beliebig komplizierter Code ausgeführt, aber z.B. einfache Weiterleitungen und nachgeladene Framesets werden erkannt und verfolgt. Dies nicht primär um dort weiteren Content zu indizieren, sondern um zu prüfen, ob einem User nicht völlig anderer Inhalt präsentiert wird, als man dem Googlebot weis machen will, d.h. hauptsächlich zur Verhinderung von Missbrauch.
alles weitere halte ich für technisch äußerst schwierig.
Ich auch.
Aber du hast doch sicher Quellen oder thesen für deine Vermutung?
Hauptsächlich mündliche Überlieferung und zahlreiche Postings in Foren, wo u.a. anhand von Logfiles festgestellt wurde, dass nachgeladener Javascript-Code und nachgelade Frame-Inhalte gecrawlt werden.
Gruß, Don P