nicht angemeldet
sehr grosse Logfiles auswerten -» womit!? (Webtrends scheitert z.B.)
Hallo Forum!
Wir haben hier ein kleines Problem.
Für den letzten Monat haben wir ca. 1GB Apache Logfiles und haben es bisher mit keinem Tool hinbekommen eine Monatsstatistik zu erstellen.
Webtrends (NT)...out of Memory (bei 256 Real + virt.)
http-analyse (Solaris) ...hatte nach 30h auch noch kein Ergebnis
Gibts nicht irgendeinen Analyzer der eine Monatsstatistik in mehreren Durchläufen erstellen kann!?
Danke im Voraus.
MfG Kai Gülzau
-
Tach!
Wir haben hier ein kleines Problem.
Für den letzten Monat haben wir ca. 1GB Apache Logfiles und haben es bisher mit keinem Tool hinbekommen eine Monatsstatistik zu erstellen.
Webtrends (NT)...out of Memory (bei 256 Real + virt.)http-analyse (Solaris) ...hatte nach 30h auch noch kein Ergebnis
Vielleicht hast du was falsch installiert?
Wir haben hier an der Uni Erlangen das
http-analyze 2.01pl15 von 'RENT-A-GURU®' auf
Solaris laufen und es macht bei unseren doch recht grossen Logfiles keine Probleme. Die Logfiles sind am Ende eines Monats immer so zwischen 3 bis 8 Gig (Ich hab auch referer und agent-info an)Das einzige Problem das wir hier haben, ist das wir lange Zeit zu wenig Plattenplatz fuer die Logfiles hatten :P
Deswegen wurde die Statistik leider 6 mal in diesen Jahr unterbrochen :(
http://www.uni-erlangen.de/webadm/stats/Ciao,
Wolfgang-
Vielleicht hast du was falsch installiert?
»» http-analyze 2.01pl15 von 'RENT-A-GURU®' auf
Solaris laufen und es macht bei unseren doch recht grossen Logfiles keine Probleme. Die Logfiles sind am Ende eines Monats immer so zwischen 3 bis 8 Gig (Ich hab auch referer und agent-info an)
ABER:
IgnURL *.gif,*.jpg,*jpegDamit relativiert sich die Logfile-Größe wohl etwas :)
Ich muß wohl nochmal die aktuelle Version installieren...das ist momentan das Einzige, was mir einfällt.
Wie lange ist denn die Laufzeit am Ende des Monats!?Gibts in http-analyze eigentlich eine Möglichkeit die Monatsstatistik durch mehrere Tagesläufe zu erzeugen!?
Schließlich wird bei uns auch täglich der ganze Monat processed...MfG Kai Gülzau
-
ABER:
»» IgnURL *.gif,*.jpg,*jpeg
Nur in der Statistik, nicht in der Logfile!!
Damit relativiert sich die Logfile-Größe wohl etwas :)
Schaun ma mal:
unrzc9@info1: 12:21 [~/weblogs] > ll
total 1812292
-rw-r----- 1 root www 16295245 Dec 14 12:21 access-cgi.log
-rw-r----- 1 root www 672231143 Dec 14 12:21 access-fau.log
-rw-r----- 1 root www 195709 Dec 14 09:13 access-frauenklinik.log
-rw-r----- 1 root www 2884946 Dec 14 12:20 access-home.log
-rw-r----- 1 root www 81385220 Dec 14 12:21 access-rrze.log
-rw-r----- 1 root www 6320534 Dec 14 12:09 access-sport.log
-rw-r----- 1 root www 341419 Dec 14 12:18 access-thesis.log
-rw-r----- 1 root www 8228277 Dec 14 12:21 access-ub.log
-rw-r----- 1 root www 123435800 Dec 14 12:21 access.log
lrwxrwxrwx 1 root other 23 May 26 1999 archiv -> /proj.stand/logs.archiv
-rw-r--r-- 1 www www 16712 Dec 11 00:32 cgi-hack.log
-rw-r----- 1 root www 15992548 Dec 14 12:20 errors(Dateien fuer diesen Monat)
Ich muß wohl nochmal die aktuelle Version installieren...das ist momentan das Einzige, was mir einfällt.
Wie lange ist denn die Laufzeit am Ende des Monats!?Hm...etwa 15 Minuten bei 5 Gig..
auf dieser Kiste:
...
Manufacturer is Sun (Sun Microsystems)
System Model is Enterprise 3000
Main Memory is 1024 MB
Virtual Memory is 943 MB
ROM Version is OBP 3.2.22 1999/05/12 15:34
Number of CPUs is 4
...
(4 CPU's: "Sun UltraSPARC" 168 MHz CPU)Gibts in http-analyze eigentlich eine Möglichkeit die Monatsstatistik durch mehrere Tagesläufe zu erzeugen!?
Ja. Bei uns laeuft das Ding 6 mal am Tag um nur die variablen Tageswerte zu aendern.
Ciao,
Wolfgang-
Hm...etwa 15 Minuten bei 5 Gig..
auf dieser Kiste:
...
Manufacturer is Sun (Sun Microsystems)
System Model is Enterprise 3000
Main Memory is 1024 MB
Virtual Memory is 943 MB
ROM Version is OBP 3.2.22 1999/05/12 15:34
Number of CPUs is 4
...
(4 CPU's: "Sun UltraSPARC" 168 MHz CPU)Hier steht etwas ähnliches:
3GB Ram & 4x400MHz(?) CPU'salso das ist nicht das Prob
Gibts in http-analyze eigentlich eine Möglichkeit die Monatsstatistik durch mehrere Tagesläufe zu erzeugen!?
Ja. Bei uns laeuft das Ding 6 mal am Tag um nur die variablen Tageswerte zu aendern.Das geht!? wenn ich analyze mit -m nacheinander auf verschiedene Tageslogs laufen lasse, dann ist in der Monatsstatistik immer nur der letzte Tag zu sehen.
Als zum Ende des Monats läuft analyze immer langsamer :-\MfG Kai Gülzau
-
-
-
-
Hallo Forum!
Wir haben hier ein kleines Problem.
Für den letzten Monat haben wir ca. 1GB Apache Logfiles und haben es bisher mit keinem Tool hinbekommen eine Monatsstatistik zu erstellen.
Webtrends (NT)...out of Memory (bei 256 Real + virt.)http-analyse (Solaris) ...hatte nach 30h auch noch kein Ergebnis
Gibts nicht irgendeinen Analyzer der eine Monatsstatistik in mehreren Durchläufen erstellen kann!?
----------------------
Hallo Kai,
ich werte ebenfalls sehr große Logfiles mit WebTrends 4.2 aus.
Diese werden wöchentlich erstellt und als Zip-File heruntergeladen.
Am Ende des Monats stelle ich den Zeitraum der Auswertung ein
und schicke Webtrends an die Arbeit. Dies dauert zwar sehr lange
ca. 3 bis 4 Stunden (in denen der Rechner auch online ist), hat
aber bisher immer funktioniert.400MHz Pentium II mit 384MB RAM + virt.
Wochen-Logs 22 - 30 MB gezippt.
entpackt ca. 380MB bis 500 MB
Ein Monat hat im Schnitt ungefähr 1,5 bis 1,8 GB-
Diese werden wöchentlich erstellt und als Zip-File heruntergeladen.
Am Ende des Monats stelle ich den Zeitraum der Auswertung ein
und schicke Webtrends an die Arbeit. Dies dauert zwar sehr lange
ca. 3 bis 4 Stunden (in denen der Rechner auch online ist), hat
aber bisher immer funktioniert.Wir testen hier grade mit der Enterprise Version 4.0 und die schreibt ja Temporär noch Daten irgendwohin (die übrigens größer sind als die Logs zusammen).
Bei der Anlayse wirds dann Schnarch-Langsam ...der Rechner hat übrigens nur 128MB ...die NT-Kisten sind hier nicht ganz so protzig ausgestattet.
Mal sehen, ob der Morgen fertig ist :) (seit heute Morgen läuft der schon)
MfG Kai Gülzau
-
-
Moin Kai !
So treffen sich also alte Schulkameraden wieder! Wat nen Zufall... :)
Ron
-
Moin Kai !
TACH :)
So treffen sich also alte Schulkameraden wieder! Wat nen Zufall... :)
Tjaha... hey du hast ja gar nix gefragt bzw. geantwortet...
Frohe weinhachten
KAI
-