Der Martin: Große Dateien aufspringen mit PHP / Shell

Beitrag lesen

Moin,

ich stehe vor dem Problem das ich zum Zweck der weiteren Bearbeitung mit PHP Dateien (Text/Binär) aufteilen m da ich denke das es besser ist mit PHP 12 x 2MB Daten zu verarbeiten als einmal 24MB.

da kann ich mich Felix nur anschließen: Möglicherweise ist das Splitten gar nicht nötig. Es kommt sehr darauf an, was deine Verarbeitung genau ist. Solange du beispielsweise nur linear durch die Dateien wanderst und bestimmte Muster suchst, ist die Dateigröße völlig irrelevant. Wenn du natürlich versuchst, den kompletten Dateiinhalt in den Arbeitsspeicher zu laden ...

Im Gegenteil, das Splitten kann sogar zusätzliche Probleme mit sich bringen - dann nämlich, wenn gerade ein Muster, das du eigentlich erkennen willst, an der Dateigrenze getrennt wurde.

Die aufzuteilenden Dateien liegen aber nicht in dem gleichen Verzeichnis wie die php Datei, was dazu führt das ich nach der Verwendung von split die erzeugten Dateifragmente wieder verschieben muss da ja der split Befehl leider die Datei aus anderen bzw. Unterverzeichnissen lädt aber die Fragmente auf der Ebene der php-Datei erzeugt.

Hast du mal versucht, dem PREFIX-Parameter den gewünschten Zielpfad voranzustellen? Ich nicht, aber es wäre in meinen Augen irgendwie logisch. Notfalls machst du eben vor dem split-Aufruf ein cd.

  • Ist meine grundsätzliche Herangehensweise korrekt?

Kommt drauf an.

  • Gibt es bessere Lösungen

Bestimmt. Gibt es fast immer. ;-)

So long,
 Martin

--
Nothing travels faster than the speed of light with the possible exception of bad news, which obeys its own special laws.
- Douglas Adams, The Hitchhiker's Guide To The Galaxy