woodfighter: Crawler/Spider für passwortgeschützte Seite gesucht

Beitrag lesen

Tach,

ich habe eine Webseite, die ich crawlen möchte. 80% von den Seiten sind passwortgeschützt und man muss sich über ein Formular anmelden. Ich bin auf der Suche nach einem Crawler, womit ich die gesamte Webseite herunterladen kann. Ich habe httrack probiert aber er hat Schwierigkeiten wegen dem Einloggen-Mechanismus. Kennt einer von euch ein gutes funktionnierendes Programm?

gib httrack entweder die zu einer angelemldeten URL gehörende Session-ID oder den entsprechenden Cookie mit.

mfg
Woodfighter