nicht angemeldet
Ajax Webseite Spidern?
Hallo!
Ich würde gerne wissen ob es auch möglich ist eine Ajax Webseite zu Spidern?
bzw etwas content zu extrahieren? ^^
Kann es sein das PHP cURL das richtige dafür ist?
Bin für jede idee und anregund dankbar!
l.g. Hannes
-
hi,
Bin für jede idee und anregund dankbar!
Guck Dir den JS-Teil an und Du siehst, wohin der http-Request geht. Einen Solchen kannst Du mit jedem UserAgent machen um die Response auszuwerten.
Hotti
--
Wenn der Kommentar nicht zum Code passt, kann auch der Code falsch sein.-
hi hotti,
Guck Dir den JS-Teil an und Du siehst, wohin der http-Request geht. Einen Solchen kannst Du mit jedem UserAgent machen um die Response auszuwerten.
Hört sich ja nicht schlecht an, aber wie kann ich das umsetzen wenn ich z.b. eine Grosse datenbank voller bücher spidern will, und die ganze website ist sozusagen 100 % ajax?
l.g. hannes
-
Hi,
Hört sich ja nicht schlecht an, aber wie kann ich das umsetzen wenn ich z.b. eine Grosse datenbank voller bücher spidern will,
Hast du die Erlaubnis des Seitenbetreibers dazu?
und die ganze website ist sozusagen 100 % ajax?
100% HTTP bleiben 100% HTTP.
Finde also die Adressen heraus, die Abzufragen sind, bzw. ggf. die dahinter liegende Systematik (bspw. fortlaufende Artikelnummern).
MfG ChrisB
--
Light travels faster than sound - that's why most people appear bright until you hear them speak.-
hi,
Finde also die Adressen heraus, die Abzufragen sind, bzw. ggf. die dahinter liegende Systematik (bspw. fortlaufende Artikelnummern).
Es gibt Ansätze in Perl, JS zu parsen, vor ein paar Jahren war das mal ein Thema bei mir, bin damals jedoch einen anderen Weg gegangen. Ich gugge morgen mal was es da so gibt, bis dahin ist erstma Handarbeit angesagt.
Hotte
--
Wenn der Kommentar nicht zum Code passt, kann auch der Code falsch sein.-
Moin Moin!
Es gibt Ansätze in Perl, JS zu parsen,
Man kann z.B. die Spidermonkey-Engine des Mozilla-Projekts als XS einbinden: JavaScript::SpiderMonkey.
Man kann einen eigenen JS-Interpreter einbinden: http://search.cpan.org/perldoc?JavaScripttitle=Javascript
Es gibt auch eine Alpha-Version eines JS-Interpreters in reinem Perl: JEEs gibt Plugins für WWW::Mechanize (WWW::Mechanize::Plugin::Javascript) und dessen Subclass WWW::Scripter (WWW::Scripter::Plugin::Javascript).
Alexander
--
Today I will gladly share my knowledge and experience, for there are no sweeter words than "I told you so".-
Moooin Alexander;
Oioioi, die vielen Links. Genug Stöffche für Heute ;-)
Vielen Dank,
Grüße an Alle,
Hotte--
Wenn der Kommentar nicht zum Code passt, kann auch der Code falsch sein.-
Danke euch allen!
ich denke damit ist mir gut geholfen ^^
l.g.
-
-
-
-
-
-