Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]

Groups > ger.ct > #630798

Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

Show all headers | View raw

On Dec 1, 2024 at 5:54:56 PM GMT+1, "Bernd Mayer" <beam.bam.boom@knuut.de>
wrote:

> Am 01.12.24 um 17:39 schrieb Christian Dürrhauer:
>> Hallo,
>>
>> ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
>> aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
>> gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
>> gewachsenen Ordner auf NAS2 vergleichen.
>>
>> Meiner Ansicht nach sollte - da Prüfsummen zu erstellen bei der Art Dateien
>> und der Masse ein teurer Vorgang sind - der reine Vergleich von Dateigröße,
>> vielleicht auch noch Datum, als Output reichen. Ich brauche keine Automatik,
>> die mir was löscht, eine Liste reicht.
>>
>> Muss ich das per Hand machen
>> (Pseudo-Bash-Code
>> find ./ --exec ls -l {} \; >> found_files_source.txt
>> find ./ --exec ls -l {} \; >> found_files_dest.txt
>> sdiff -ls found_files_source.txt found_files_dest.txt)
>> oder gibt es einen gangbaren Weg per Tool (debian/Ubuntu, könnte auch Mac
>> verwenden)?
>
> Hallo,
>
> fdupes ist dafür doch optimal geeignet:
>
> https://github.com/adrianlopezroche/fdupes
>
> https://www.tecmint.com/fdupes-find-and-delete-duplicate-files-in-linux/
>
fdupes hatte ich schon gefunden - aber was ich verstanden habe, der
Algorithmus sucht gleich große Dateien und macht dann einen md5. Diesen
Schritt brauche ich nicht unbedingt. Nur mal kurz angeteasert - es sind 20TB
auf der Quelle, 25TB mittlerweile auf dem Ziel. Die TV-Aufnahmen sind 10-18GB
groß. Da säße ich ja Ewigkeiten und es bringt mir eigentlich keinen
zusätzlichen Erkenntnisgewinn - ich weiß, wo die Dateien herkommen und wenn
die Dateigröße, der Name und das Datum identisch sind, dann kann ich
vielleicht noch stichprobenmäß9g (hatte ich schon damals gemacht) auf
Bitfehler prüfen. Letztlich geht es nur darum, ob damals was von rsync
ausgelasssen wurde.

Sprich, wenn fdupes das md5-Hashing auslassen könnte, wäre es perfekt, aber
ich bezweifle es, deshalb hatte ich gefragt.
Aber ich probiere es mal aus.

-- 
mit freundlichen Grüßen/with kind regards,

Christian Dürrhauer

Back to ger.ct | Previous | Next — Previous in thread | Next in thread | Find similar | Unroll thread

Thread

Duplikatefinder  Linux - nur Dateigroesse (Schnelligkeit) Christian Dürrhauer <cdurrhau@zedat.fu-berlin.de> - 2024-12-01 17:39 +0100
  Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Bernd Mayer <beam.bam.boom@knuut.de> - 2024-12-01 17:54 +0100
    Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Christian Dürrhauer <cdurrhau@zedat.fu-berlin.de> - 2024-12-01 19:14 +0100
      Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Bernd Mayer <beam.bam.boom@knuut.de> - 2024-12-01 20:30 +0100
  Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Goetz Schultz <ng.expire1225@goetz.co.uk> - 2024-12-01 17:50 +0000
    Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Christian Dürrhauer <cdurrhau@zedat.fu-berlin.de> - 2024-12-01 19:14 +0100
      Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Goetz Schultz <ng.expire1225@goetz.co.uk> - 2024-12-01 21:06 +0000
        Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Bernd Mayer <beam.bam.boom@knuut.de> - 2024-12-01 22:12 +0100
    Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Bonita Montero <Bonita.Montero@gmail.com> - 2024-12-06 13:21 +0100
      Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2024-12-06 14:42 +0100
  Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Hermann Riemann <nospam.ng@hermann-riemann.de> - 2024-12-02 11:03 +0100
  Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) "F. W." <me@home.invalid> - 2024-12-02 14:22 +0100
    Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2024-12-02 18:59 +0100
      Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) "F. W." <me@home.invalid> - 2024-12-03 08:17 +0100
  Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2024-12-02 18:57 +0100
    Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Christian Dürrhauer <cdurrhau@zedat.fu-berlin.de> - 2024-12-02 20:21 +0100
      Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Christian Dürrhauer <cdurrhau@zedat.fu-berlin.de> - 2024-12-02 20:37 +0100
      Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2024-12-02 21:00 +0100
  Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Walter Brill <WalterBrill@t-online.de> - 2024-12-04 14:58 +0100

csiph-web