Hi kaepten,
Behandelt der Spider
welcher?
jede Seite gleich und indexiert alle Seiten nach seinem Muster gleich?
Sofern Du innerhalb des "Musters" die gesamte Intelligenz des Spiders dargestellt sehen willst - ja. (Die Aussage ist dann allerdings trivial: Ein Spider besitzt genau eine Intelligenz - nämlich diejenige, die durch seinen Quelltext repräsentiert wird.)
Nur eine Sub-Seite wird indexiert, wenn auch die Index-Stratseite schon gut indexiert worden ist?
Welche Aufgabenstellung hat eine Suchmaschine? Sie will _gute_ Treffer liefern.
Es kann also nicht verkehrt sein, zunächst einmal eine große Menge potentieller Treffer verfügbar zu haben, um aus diesen dann die besten auszuwählen - denn was man nicht kennt, kann man nicht anbieten.
Sofern nicht andere Gründe dagegen sprechen (robots-Ausschluß, dynamische Natur einer Seite, Spamming, thematische Einschränkungen meines Dienstes etc.), würde ich keine Seite ignorieren wollen. Ein großes Gedächtnis ist ein notwendiges Kriterium für eine gute Suchmaschine (wenngleich sicherlich kein hinreichendes).
Ich dachte, dass ein Spider eine Indexierungsmuster hat (jeder Spider für sich ein etwas anderes). Der Spider geht auf die Startseite, indexiert diese nach seinem Muster. Dann folgt er über die Links auf dieser Startseite auf die Sub-Seiten. Diese Subseiten indexiert er wieder genau nach demselben Muster wie die Startseite. (und so weiter). Jede Seite kann so für sich ein gutes, oder schlechtes Ranking erreichen.
Das Ranking (Bewertungsfunktion während eines Suchvorgangs) hat mit der Indexierung (Aufsammeln von Seiten durch einen Crawler) zunächst mal nichts zu tun (auch wenn man bestimmte Teile der Bewertung aus Performance-Gründen ggf. statisch speichern wird - im Falle von Google beispielsweise denjenigen Teil, der aus der Link-Popularität dieser Seite stammt, vermute ich: Sofern diese Funktion unabhängig vom Suchubegriff ist, kann man sie bei jeder Änderung des Datenbestandes schon mal präventiv berechnen und damit das Antwortverhalten während der eigentlichen Suche verbessern).
Gibt es Abhängigkeiten zwischen den Seiten?
Bei der Bewertungsfunktion? Denkbar ist es - das müßtest Du aber den jeweiligen Suchmaschinenbetreiger fragen, welcher dies wahrscheinlich als Betriebsgeheimnis betrachten wird.
Was ich weiss ist, dass eine Seite ein besseres Ranking erzielt, je mehr Verweise von anderen Seiten auf diese Seite gerichtet sind.
Ersetze "mehr" durch "mehr gute" oder etwas Entsprechendes - denn die einfache Anzahl ließe sich wieder zu leicht durch Spamming manipulieren.
Gibt es aber auch andere Abhängigkeiten? z.B. dass eine Sub-Seite mit Stichwörtern nur dann gut indexiert wird, wenn dieses Stichwort auch auf der Startseite vorgekommen ist?
Eine Suchmaschine will (genau wie ein Link) direkt zu einem Treffer führen und dem Besucher nicht erst noch eine unbekannte Navigation auf einer fremden Site zumuten.
Ich würde eine Bewertungsfunktion unbedingt individuell pro URL definieren wollen.
Bei uns herrscht einfach die Meinung, dass die index.html (oder wie die Startseite auch immer heisst) die absolut wichtigste für die gesamte indexierung der Homepage (Sub-Seiten) ist.
Ich bin genau gegenteiliger Meinung: Ein Suchmaschinentreffer ist gut, wenn er spezifische Informationen liefert. Das tut Deine Startseite mit ziemlicher Sicherheit nicht - für praktisch jede Detail-Anfrage wird irgend eine andere Deiner Seiten geeigneter sein.
Viele Grüße
Michael
T'Pol: I apologize if I acted inappropriately.
V'Lar: Not at all. In fact, your bluntness made me reconsider some of my positions. Much as it has now.
(sh:| fo:} ch:] rl:( br:^ n4:( ie:% mo:) va:| de:/ zu:| fl:( ss:) ls:~ js:|)
=> http://www.peter.in-berlin.de/projekte/selfcode/?code=sh%3A|+fo%3A}+ch%3A]+rl%3A(+br%3A^+n4%3A(+ie%3A%25+mo%3A)+va%3A|+de%3A%2F+zu%3A|+fl%3A(+ss%3A)+ls%3A~+js%3A|
Auch diese Signatur wird an korrekt konfigurierte Browser gzip-komprimiert übertragen.