Spidersoftware gesucht

[Manuel B.]

Ich grüsse den Cosmos,

ich bin grad auf der Suche nach einer Software, die Seiten spidert und indiziert.
Es geht um ca. 20000 Sites, die ich regelmässig spidern will und praktisch eine eigene Suchmaschine zur Verfügung stellen.

Ich denke mal, lösungen auf PHP-Basis scheiden da aus, mir schwebt da schon was "grösseres vor. Lauffähig sollte das ganze unter Linux sein, da meine Server alle unter Bebian laufen. Wenn das ganze Freeware ist, hab ich damit kein Problem, darf auch was kosten, solange es sich nicht gleich um 4-stellige Summen handelt

Zwingend nötig ist dabei, das sich der Spider die URLs aus einer Datenbank holt und wirklich nur diese URLs spidert.

Möge das "Self" mit euch sein