Parallelsuche in mehreren Suchmaschinen

[Nico]

Hallo,
bitte erlaubt noch eine Anfaengerfrage:

Wie stelle ich es an, auf meiner Homepage eine (Meta?)Suchroutine zu installieren, die gleichzeitig in mehreren Suchmaschinen nachforscht?

Vielen Dank fuer Eure Tips!

Nico

[Michael Schröpl]

bitte erlaubt noch eine Anfaengerfrage:

Aber gerne doch ...

Wie stelle ich es an, auf meiner Homepage eine (Meta?)Suchroutine zu installieren, die gleichzeitig in mehreren Suchmaschinen nachforscht?

Darfst Du auf Deiner Homepage CGI-Skripts ausführen? Damit geht es schon mal los.

Ein CGI-Skript zu schreiben, das (beispielsweise über den Perl-Modul "LWP::Simple" mit der get()-Funktion) mehrere URLs "absaugt" - jede Suchmaschinenanfrage läßt sich ja als URL darstellen - ist dabei noch das kleinere Problem.
Dafür mußt Du im Wesentlichen die Syntax der URLs der von Dir zu bearbeitenden Suchmaschinen verstehen, inklusive ihrer Meta-Operatoren wie AND und OR - selbige werden zwischen verschiedenen Suchmaschinen nämlich nicht immer kompatibel sein. Es kann vorkommen, daß Du eine Anfrage auf verschiedene Suchmaschinen unterschiedlich abbilden mußt - das hängt natürlich davon ab, welche Meta-Operatoren Du selbst anbieten willst.

Der richtig spannende Punkt bei einer Metasuchmaschine ist dann aber,

• die pro Suchmaschine unterschiedlich formatierten Ergebnisse zu analysieren und in ein einheitliches Ausgabeformat umzusetzen,
• die wahrscheinlich unterschiedlichen Bewertungsmethoden ("97% relevant" usw.) in ein gemeinsames Koordinatensystem zu übersetzen und
• Duplikat-Treffer zusammenzufassen (und deren "Gewicht" irgendwie zu akkumulieren und nach dem modifizierten Gewicht alles neu zu sortieren usw.)

Das alles sollte eine wirklich brauchbare Metasuchmaschine können - reines Hintereinanderdrucken der Treffer mehrerer Suchmaschinen nützt ziemlich wenig und würde bei Deinen Besuchern nur Enttäuschung hervorrufen.
Das ist keine Fingerübung für nebenher ...

[Nico]

Aber gerne doch ...>
Das ist keine Fingerübung für nebenher ...

Hallo Michael,

vielen Dank fuer Deine ausfuehrliche Antwort, die mir (als Anfaenger) klarmacht, wie

• das Problem grundsaetzlich zu loesen ist;

• die Loesung weitere Probleme generiert;

• schwierig es anscheinend doch sein kann, auf scheinbar unbedarfte Fragen, leichte Loesungen zu finden.

Ich sehe ein, dass Du wahrscheinlich recht hast mit Deiner indirekten Suggestion, dass ich doch lieber die Finger von den notwendigen "Fingeruebungen" lassen sollte, wollte ich mich in dem Dickicht meiner Unkenntnis verirren ;-).

Nichts fuer ungut
und beste GRuesse

Nico

[Michael Schröpl]

Ich sehe ein, dass Du wahrscheinlich recht hast mit Deiner indirekten Suggestion, dass ich doch lieber die Finger von den notwendigen "Fingeruebungen" lassen sollte, wollte ich mich in dem Dickicht meiner Unkenntnis verirren ;-).

Ich wollte Dich nicht "abstrafen" oder so - weit gefehlt!
Allerdings habe ich im Dunstkreis der legendären Suchfibel <www.suchfibel.de> erst kürzlich einiges über Metasuchmaschinen gelesen, was mich selbst für dieses Thema sensibilisiert hat. Ich fände es eigentlich toll, bei so einem Projekt mitzumachen, aber ich würde es letztlich irgendwie in Mannjahren messen, und das sprengt nun mal den Rahmen einer Forum-Frage ...

Richtig ist, daß einfache Fraxen komplexe Antworten verursachen können. Der Punkt dabei ist halt, daß jede Suchmaschine ihr eigenes "Weltbild" hat und das Problem, diese Welten irgendwie kompatibel zu machen, nun mal nicht trivial ist.
Genausogut kannst Du versuchen, eine Webseite unter Ausnutzung aller nagelneuen Features zu schreiben, die trotzdem kompatibel zu allen Browsern ist ... :-)