Automatisierter Download von HTML-Seiten

[Wolfgang]

Hallo,

ich würde mir gerne ein kleines Stückchen Code schreiben, welches automatisiert die einzelnen Seiten eines Internet-Forum-Archivs auf meinem Rechner abspeichert. Im Gegensatz zu den meisten hier erwähnten Download-Fragestellungen will ich also keinen Download anbieten, sondern selber mehrere tausend HTML-Seiten (Nur-Text) herunterladen.

Die einzelnen Seiten haben eine fortlaufende Nummerierung:

http://.../.../1.htm
http://.../.../2.htm
http://.../.../3.htm

Gibt es in JS, Perl, PHP oder gar HTML Möglichkeiten, welche einen solchen Download zeiteffizient mittels Schleifen und Zähler ermöglichen? Hauptsächlich für das Aufrufen und Speichern habe ich noch keine Vorstellung, wo ich Befehle finden könnte.

Für Tips wäre ich dankbar!

Gruß Wolfgang

[rolfrost]

hi,

http://.../.../1.htm
http://.../.../2.htm
http://.../.../3.htm

Gibt es in JS, Perl, PHP oder gar HTML Möglichkeiten, welche einen solchen Download zeiteffizient mittels Schleifen und Zähler ermöglichen? Hauptsächlich für das Aufrufen und Speichern habe ich noch keine Vorstellung, wo ich Befehle finden könnte.

in PERL
use LWP::Simple;
mirror($url,$zieldatei_lokal);

thats all ;-)

Viele Grüße, Rolf

[Wolfgang]

in PERL
use LWP::Simple;
mirror($url,$zieldatei_lokal);
thats all ;-)

Viele Grüße, Rolf

He vielen Dank, das sieht schon super aus soweit!
Nur noch eine Frage:
Kann ich in die URL auch Variablen einfügen (wegen der laufenden Nummerierung)?
Oder soll statt der direkten URL eine Variable genutzt werden, welche die URL ( an anderer Stelle generiert) enthält?

Hab leider noch gar keine spezielle PERL Erfahrung, kann aber in anderen Sprachen durchaus programmieren....

Gruß Wolfgang

[rolfrost]

hi,

Kann ich in die URL auch Variablen einfügen (wegen der laufenden Nummerierung)?

hier ein bischen code:
use strict;
use LWP::Simple;

my $pre = 'http://domain.de/';
my $suf = 'html';
my $localdir = '/home/rfrost';

foreach my $number(1..10){
 my $localfile = "$number.$suf";
 print "Mirror $pre$number.$suf to $localdir/$localfile\n";
 # mirror($pre$number.$suf, $localdir/$localfile);
}

Viele Grüße, Rolf

[wahsaga]

hi,

Hauptsächlich für das Aufrufen und Speichern habe ich noch keine Vorstellung, wo ich Befehle finden könnte.

in php: fopen, file_get_contents, file_put_contents, fclose, evtl. auch readfile.
näheres unter http://de3.php.net/manual/de/ref.filesystem.php.

gruss,
wahsaga