Klaus Mock: /PERL Performance-Frage - Parsen

Beitrag lesen

Hallo,

OK. Über 1000 ist wirklich nur da um nach längerer Zeit(Urlaub...) noch eine Synchronsiation durchführen zu können, es soll halt funktionieren und dabei nicht an Limits des gehosteten Servers stoßen, denn hier sind CPU-Zeit, RAM und Laufzeit beschränkt.

Na, irgendwie habe ich das Gefühl, daß bei so einer Anwendung ein Massenhoster nicht gerade geeignet ist. imho wäre es Zeit sich zu überlegen, ob man nicht mit einem eigenen Server dann schon besser fährt. xDSL und Co. sind ja auch nicht mehr sooo teuer, daß man diesen Schritt nicht überlegen sollte.

Wenn die Synchronisation nahc längerer Offlinezeit läänger braucht, dann sollte das eigentlich jedem klar sein. Und wenn Resourcen wirklich ein Problem darstellen, könntets DU ja in Deinem Synchronisationsschript Grenzen einbauen, sagen wir mal immer in 200er Schüben (wobei diese Zahl jetzt willkürlich ist), und die Synchronisation so oft wiederholen, bis alles da ist.

Warum ich über die 2. Möglichkeit(multipart/form-data) nachdenke, ist da ich die Daten hier als Binästring übertragen kann, z.B. gzip, was über 80% Einsparung bedeuten würde.

Wobei Du bedenken mußt, daß die Verkleinerung der übertragenen Daten gleichzeitig auch erhöhten Rechenaufwand (de-/komprimieren) und Speicherplatz (komprimierte Daten und entpackte) bedeutet. Es ist eben abzuwägen, was mehr schmerzt.

Also meint Ihr man kann das Anfangs gepostete Script nicht mehr beschleunigen?

Irgendwie geht immer noch etwas. Aber ich vertrete da eher den Standpunkt, daß man sich erst kratzen soll, wenn es juckt.
Versuche einen Protottypen zu schreiben, der mit Beispieldaten handiert, um zu sehen, wie lange es wirklich dauert, und ob Du damit leben kannst.

Nur was noch dazu kommt, die aufgerufene Import-Funktion muß ja auch jedesmal erst mit einem SELECT ermitteln ob der Datensatz vorhanden ist und dann wieder in einer foreach-Schleife aus dem Daten-Array ein UPDATE oder ein INSERT machen und ausführen, da wird das ganze schon erheblich langsamer!

Gut an dem kommst Du wahrscheinlich sowieso nicht vorbei, egal wie Du es anstellst, wozu sich also darüber Gedanken machen.

Grüße
  Klaus