Logfiles auswerten

[Ole]

moin :)

wie der eine oder andere ja schon mitbekommen haben wird produzieren (web)server einen wust an logfiles.

bei mir sind es ganze 7 unterschiedliche (IIS 5 & ColfFusion 4.5)

application.log*
executive.log
mail.log
mailsent.log
scheduler.log
server.log*
webserver.log*

je nach dem wieviel los ist kann das eine oder andere logfile pro tag zwischen 50 und 130 kb groß werden (die mit * markierten :)).

mein problem ist nun die auswertung der files...zur zeit schau ich die täglich mit hand durch (klingt doof ist aber so ;)). da die ganzen files ja irgendwie miteinander zusammenhängen (eine fehlermeldung in der application.log passt zu einer zeil in der mail.log. server.log oder webserver.log etc.) suche ich nun nach einer möglichkeit die ganzen fehelrmeldungen in realtion zueinander zu setzen.

es gibt zwar dutzende programme zur auswertung der seiten zugriffe etc. aber für mein einsatzgebiet hab ich leider noch ncihts gefunden :(....gibt es da was oder sollte ich mir das ganze doch lieber selber schreiben?

das selber schreiben wäre nur ein zeitliches problem, aber mensch ist ja bequem und darum würde mich halt interessieren ob es dafür schon was fertiges gibt.

hoffe der eine oder andere von euch kann mir ein wenig weiterhelfen.

thx
ole
(8-)>

[Frank aus Ulm]

Hi, hallo

äh, was gehört davon wozu genau ???   Mein IIS macht nur vernünftige Zugriffslogs, die dann irgendwo im Win\System32... liegen.

Du redest hier u.a. von Systemlogs die Systemfehler, Anwendungsfehler des IIS und der ColdFusion Extension zu protokollieren.

Frage dich einfach, was willst du am Ende rausbekommen und versuche dann durch Rekursion bis zu den Ursprungsdateien zu gelangen. Brich deine Informationen in deren kleinste Einheiten und schau, ob sich dadurch Zusammenhänge ergeben.

all diese Logfiles sind mir bislang noch nicht operativ untergekommen. :-(

Tschau, tschüß,
Frank

[Michael Schröpl]

Hi Ole,

mein problem ist nun die auswertung der files

was verstehst Du unter "auswerten"? Was willst Du erreichen?

da die ganzen files ja irgendwie miteinander zusammenhängen (eine fehlermeldung in der application.log passt zu einer zeil in der mail.log. server.log oder webserver.log etc.) suche ich nun nach einer möglichkeit die ganzen fehelrmeldungen in realtion zueinander zu setzen.

Das klingt für mich so, als würde eine relationale Modellierung dieses Meldungsuniversums Sinn machen: Eine Tabelle pro Log-Format und SQL-JOINs für Deine Auswertungen.
Allfällige Referenz-Schlüssel-Eigenschaften dieser Tabellen mußt Du Dir natürlich vorher erarbeiten.

es gibt zwar dutzende programme zur auswertung der seiten zugriffe etc. aber für mein einsatzgebiet hab ich leider noch ncihts gefunden :(

Definiere "mein Einsatzgebiet".

Viele Grüße
      Michael

[Ole]

hi

meine güte...und ich beschwer mich immer wenn ich andere nicht verstehe...sollte mal etwas an meinen formulierungskünsten arbeiten ;)

was verstehst Du unter "auswerten"? Was willst Du erreichen?

ich möchte sehen welcher eintrag in dem einen logfile mit welchen einträgen in aderen logfiles zusammenhängt, welcher fehler wo und wie häufig autritt, warum ein fehler auftritt etc.

die ganzen antworten dazu stehen alle samt ja schon in den logfiles, nur eben über mehrere verteilt.

so bekomme ich z.B. eine fehlermeldung wenn eine email nicht verschickt werden konnte (mail.log).
warum die email nciht verschickt wurde, angenommen eine seite konnte nicht gefunden werden, steht in der webserver.log.
Wenn die Seite nicht gefunden werden konnte, weil eine variable (coldfusion) nicht vorhanden war, so finde ich das in der application.log.

diese causalitätskette muß ich mir zur zeit von hand anhand von datum und uhrzeit der einzelnen einträge zusammensuchen. was bei 50-130 kb je file schon einen enormen datenwust und zeitaufwand bedeutet.

Das klingt für mich so, als würde eine relationale Modellierung dieses Meldungsuniversums Sinn machen: Eine Tabelle pro Log-Format und SQL-JOINs für Deine Auswertungen.

so was in der richtung hatte ich mir auch gedacht :)

Allfällige Referenz-Schlüssel-Eigenschaften dieser Tabellen mußt Du Dir natürlich vorher erarbeiten.

klar

Definiere "mein Einsatzgebiet".

eben die auswertung (siehe oben) der von mir im posting vorher angeführten logfiles :)

dank dir für die denkanstösse :)

so long
ole
(8-)>