off topic: software zur doubletten suche gesucht

[camera]

Hallo,
weiß hat jetzt nichts direkt mit html etc. zu tun aber ich suche eine Software, die auf meinem Computer Datei-Doubletten sucht. Habe z.B. mehrere 100 GB an Bilddateien, diese liegen teilweise mehrfach auf dem Rechner in verschiedenen Ordner. Jetzt hätte ich gerne ein Programm, dass meine Festplatte durchsucht und mir alle doppelten/dreifach/vierfach Dateien mit Ort wo sie liegen anzeigt - oder noch schöner ich könnte ein "Hauptverzeichnis" festlegen und alle Dateien, die in irgendwelchen Unterverzeichnissen als Doubletten liegen würden direkt durch eine Verknüpfung zum Hauptverzeichnis ersetzt.
Kennt ihr so ein Programm? Kann man sowas selber schreiben (klar kann man - aber auch als relativer Laie?) und welche Sprache würde sich dafür anbieten?

Danke und Gruß

[Matthias Apsel]

Om nah hoo pez nyeetz, camera!

ich suche eine Software, die auf meinem Computer Datei-Doubletten sucht. Habe z.B. mehrere 100 GB an Bilddateien, diese liegen teilweise mehrfach auf dem Rechner in verschiedenen Ordner.

Ich habe vor einiger Zeit mit anti-Twin gute Erfahrungen gemacht.

Matthias

[bubble]

ich suche eine Software, die auf meinem Computer Datei-Doubletten sucht. Habe z.B. mehrere 100 GB an Bilddateien, diese liegen teilweise mehrfach auf dem Rechner in verschiedenen Ordner.
Ich habe vor einiger Zeit mit anti-Twin gute Erfahrungen gemacht.

Kann ich nur zustimmen, mit anti-Twin kann man bei Bildern sogar die Pixelübereinstimmung prozentual vergleichen.

Programme die einfach nur Byte für Byte oder den Hash-Wert beider Dateien vergleichen können bei Bildern schon durch eingebettete Kommentare zu falschen Ergebnissen kommen.

Hängt halt stark davon ab wie du Doubletten definierst.

MfG
bubble

[Der Martin]

Hi,

Jetzt hätte ich gerne ein Programm, dass meine Festplatte durchsucht und mir alle doppelten/dreifach/vierfach Dateien mit Ort wo sie liegen anzeigt [...]
Kennt ihr so ein Programm?

nicht aus eigener Erfahrung, aber ein Bekannter von mir schwört auf Dupemaster.

Kann man sowas selber schreiben (klar kann man - aber auch als relativer Laie?) und welche Sprache würde sich dafür anbieten?

Kann man natürlich, aber als Laie? Vom Gedanken her wär's wohl nicht so schwierig, aber da lauern garantiert Hunderte von Fallstricken. Außerdem wäre es sicher eine ziemliche Fleißarbeit.
Ich würde sowas übrigens in C schreiben wollen, aber prinzipiell wäre so ziemlich jede andere Sprache auch geeignet.

Ciao,
 Martin

[Frank (no reg)]

Hi, du hast leider nicht angegeben fuer welches Betriebssystem, falls es sich um Apple handelt:

Stand letztens vor aehnlichem Problem und habe dann im Apple AppStore das Pogramm "Gemini" entdeckt, ist zwar nicht gratis aber dafuer erfuellt es seinen Zweck bzw meine Anforderungen.

Cheers, Frank

[Jörg Reinholz]

Kann man sowas selber schreiben (klar kann man - aber auch als relativer Laie?) und welche Sprache würde sich dafür anbieten?

Viele.
Ich würde wohl Perl nehmen. Aber schon in der bash (unter Linux) geht ein:

~ find ./ -name '*' -exec openssl md5 {} ; > ausgabe.txt.

in der ausgabe.txt steht dann (neben Fehlermeldungen für Verzeichnisse) was wie:

MD5(./.thumbnails/normal/eb66981af6bafb21f9b2ad560126994a.png)= 6448744505f0539a986300632e0b45b8
MD5(./.thumbnails/normal/afaf2e29c27aaf73fb4e6f151923dab1.png)= 27658416abe68a681fde67cbe511b02f
MD5(./.thumbnails/normal/0de01a79850552a457f075cae07aa5f3.png)= fc9c57ef8d3ca05f895c5edd65dddaaf
MD5(./.thumbnails/normal/b997bd2305b3a91e90b94bfe06f4fa33.png)= 22994d13d3f04a13d7e4f3ad447c287b
MD5(./.thumbnails/normal/b40d79bfc473d2249e5e9c7373d108d3.png)= ed69b9cb4b62dc0a96b6fe8d23e1ab16
MD5(./.thumbnails/normal/6cacf160fc7cb6729ae96ba943933ece.png)= 4145f172c8e4ba9643d7aef7348cd2a2
MD5(./.thumbnails/normal/ec91af92170295c45d98c5a0b2a5d029.png)= d6f848fb483858106f6cbb0ca0c7cbc2

Das wieder lässt sich mit grep filtern (Fehlermeldungen!) mit awk am '= ' splitten, vorher mit sed jedes MD5( und die schließende Klammer entfernen. Natürlich kann man auch einfach sort drüber jagen und nach der zweiten Spalte sortieren lassen.

Wer will schreibt es in eine Datenbank in dem er mit awk einen SQL-Dump erzeugt, den importiert und überlässt der Datenbank das Sortieren und die Ausgabe.

Jörg Reinholz