nicht angemeldet
hi,
Also füge ich den Tiemstamp von mir aus auch roh ein:
100100, 1282147953, kfz,data,data...
Sag mal, Deine Datenhaltung, willst Du das wirklich in CSV-Dateien halten!? Strukturierungen auf Textebene fressen RAM und Rechenleistung und haben auch noch den Nachteil, dass in den Datenfeldern der Delimiter maskiert werden muss, falls der darin vorkommt, sonst geht die Struktur kaputt.
Selbst, wenn Du eine solche Datei zeilenweise einlesen tust, es muss gesplittet werden, also hast Du in dem Moment die Daten doppelt im RAM, bis das Array fertig ist. Bei einigen tausend Zeilen wird das dann auch spürbar langsamer.
Mein Vorschlag geht in Richtung Rohdaten (binary) und Serialisierung, das ist RAM und CPU gefällig, ist sehr performant und es ist dann auch völlig Wurscht, in welcher Codierung die Zeichen vorliegen und ob da ein Komma drin vorkommt, es gibt keine Delimiter, die maskiert werden müssen.
Wenn eine Binärdati eingelesen wird, entfällt auch das splitten, es werden beim Deserialisieren nur noch bytes gelesen und gleich das Array im RAM gefüllt. Zeilen "\n" gibt es auch nicht mehr, aber einen Nachteil hats: Binärdateien sind nicht mehr von Hand editierbar, jedenfalls nicht so ohne Weiteres.
Hotti