Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]

Groups > ger.ct > #630787 > unrolled thread

Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

Back to article view | Back to ger.ct

Contents

  Duplikatefinder  Linux - nur Dateigroesse (Schnelligkeit) Christian Dürrhauer <cdurrhau@zedat.fu-berlin.de> - 2024-12-01 17:39 +0100
    Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Bernd Mayer <beam.bam.boom@knuut.de> - 2024-12-01 17:54 +0100
      Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Christian Dürrhauer <cdurrhau@zedat.fu-berlin.de> - 2024-12-01 19:14 +0100
        Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Bernd Mayer <beam.bam.boom@knuut.de> - 2024-12-01 20:30 +0100
    Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Goetz Schultz <ng.expire1225@goetz.co.uk> - 2024-12-01 17:50 +0000
      Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Christian Dürrhauer <cdurrhau@zedat.fu-berlin.de> - 2024-12-01 19:14 +0100
        Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Goetz Schultz <ng.expire1225@goetz.co.uk> - 2024-12-01 21:06 +0000
          Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Bernd Mayer <beam.bam.boom@knuut.de> - 2024-12-01 22:12 +0100
      Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Bonita Montero <Bonita.Montero@gmail.com> - 2024-12-06 13:21 +0100
        Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2024-12-06 14:42 +0100
    Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Hermann Riemann <nospam.ng@hermann-riemann.de> - 2024-12-02 11:03 +0100
    Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) "F. W." <me@home.invalid> - 2024-12-02 14:22 +0100
      Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2024-12-02 18:59 +0100
        Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) "F. W." <me@home.invalid> - 2024-12-03 08:17 +0100
    Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2024-12-02 18:57 +0100
      Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Christian Dürrhauer <cdurrhau@zedat.fu-berlin.de> - 2024-12-02 20:21 +0100
        Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Christian Dürrhauer <cdurrhau@zedat.fu-berlin.de> - 2024-12-02 20:37 +0100
        Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2024-12-02 21:00 +0100
    Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit) Walter Brill <WalterBrill@t-online.de> - 2024-12-04 14:58 +0100

#630787 — Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

Hallo,

ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
gewachsenen Ordner auf NAS2 vergleichen.

Meiner Ansicht nach sollte - da Prüfsummen zu erstellen bei der Art Dateien
und der Masse ein teurer Vorgang sind - der reine Vergleich von Dateigröße,
vielleicht auch noch Datum, als Output reichen. Ich brauche keine Automatik,
die mir was löscht, eine Liste reicht.

Muss ich das per Hand machen
(Pseudo-Bash-Code
find ./ --exec ls -l {} \; >> found_files_source.txt
find ./ --exec ls -l {} \; >> found_files_dest.txt
sdiff -ls found_files_source.txt found_files_dest.txt)
oder gibt es einen gangbaren Weg per Tool (debian/Ubuntu, könnte auch Mac
verwenden)?

-- 
mit freundlichen Grüßen/with kind regards,

Christian Dürrhauer

[toc] | [next] | [standalone]

#630790 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

Am 01.12.24 um 17:39 schrieb Christian Dürrhauer:
> Hallo,
> 
> ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
> aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
> gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
> gewachsenen Ordner auf NAS2 vergleichen.
> 
> Meiner Ansicht nach sollte - da Prüfsummen zu erstellen bei der Art Dateien
> und der Masse ein teurer Vorgang sind - der reine Vergleich von Dateigröße,
> vielleicht auch noch Datum, als Output reichen. Ich brauche keine Automatik,
> die mir was löscht, eine Liste reicht.
> 
> Muss ich das per Hand machen
> (Pseudo-Bash-Code
> find ./ --exec ls -l {} \; >> found_files_source.txt
> find ./ --exec ls -l {} \; >> found_files_dest.txt
> sdiff -ls found_files_source.txt found_files_dest.txt)
> oder gibt es einen gangbaren Weg per Tool (debian/Ubuntu, könnte auch Mac
> verwenden)?

Hallo,

fdupes ist dafür doch optimal geeignet:

https://github.com/adrianlopezroche/fdupes

https://www.tecmint.com/fdupes-find-and-delete-duplicate-files-in-linux/


Bernd Mayer

[toc] | [prev] | [next] | [standalone]

#630798 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

On Dec 1, 2024 at 5:54:56 PM GMT+1, "Bernd Mayer" <beam.bam.boom@knuut.de>
wrote:

> Am 01.12.24 um 17:39 schrieb Christian Dürrhauer:
>> Hallo,
>>
>> ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
>> aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
>> gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
>> gewachsenen Ordner auf NAS2 vergleichen.
>>
>> Meiner Ansicht nach sollte - da Prüfsummen zu erstellen bei der Art Dateien
>> und der Masse ein teurer Vorgang sind - der reine Vergleich von Dateigröße,
>> vielleicht auch noch Datum, als Output reichen. Ich brauche keine Automatik,
>> die mir was löscht, eine Liste reicht.
>>
>> Muss ich das per Hand machen
>> (Pseudo-Bash-Code
>> find ./ --exec ls -l {} \; >> found_files_source.txt
>> find ./ --exec ls -l {} \; >> found_files_dest.txt
>> sdiff -ls found_files_source.txt found_files_dest.txt)
>> oder gibt es einen gangbaren Weg per Tool (debian/Ubuntu, könnte auch Mac
>> verwenden)?
>
> Hallo,
>
> fdupes ist dafür doch optimal geeignet:
>
> https://github.com/adrianlopezroche/fdupes
>
> https://www.tecmint.com/fdupes-find-and-delete-duplicate-files-in-linux/
>
fdupes hatte ich schon gefunden - aber was ich verstanden habe, der
Algorithmus sucht gleich große Dateien und macht dann einen md5. Diesen
Schritt brauche ich nicht unbedingt. Nur mal kurz angeteasert - es sind 20TB
auf der Quelle, 25TB mittlerweile auf dem Ziel. Die TV-Aufnahmen sind 10-18GB
groß. Da säße ich ja Ewigkeiten und es bringt mir eigentlich keinen
zusätzlichen Erkenntnisgewinn - ich weiß, wo die Dateien herkommen und wenn
die Dateigröße, der Name und das Datum identisch sind, dann kann ich
vielleicht noch stichprobenmäß9g (hatte ich schon damals gemacht) auf
Bitfehler prüfen. Letztlich geht es nur darum, ob damals was von rsync
ausgelasssen wurde.

Sprich, wenn fdupes das md5-Hashing auslassen könnte, wäre es perfekt, aber
ich bezweifle es, deshalb hatte ich gefragt.
Aber ich probiere es mal aus.

-- 
mit freundlichen Grüßen/with kind regards,

Christian Dürrhauer

[toc] | [prev] | [next] | [standalone]

#630799 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

Am 01.12.24 um 19:14 schrieb Christian Dürrhauer:

]Doppeltr Dateirn finden]

>> fdupes ist dafür doch optimal geeignet:
>>
>> https://github.com/adrianlopezroche/fdupes
>>
>> https://www.tecmint.com/fdupes-find-and-delete-duplicate-files-in-linux/
>>
> fdupes hatte ich schon gefunden - aber was ich verstanden habe, der
> Algorithmus sucht gleich große Dateien und macht dann einen md5. Diesen
> Schritt brauche ich nicht unbedingt. Nur mal kurz angeteasert - es sind 20TB
> auf der Quelle, 25TB mittlerweile auf dem Ziel. Die TV-Aufnahmen sind 10-18GB
> groß. Da säße ich ja Ewigkeiten und es bringt mir eigentlich keinen
> zusätzlichen Erkenntnisgewinn - ich weiß, wo die Dateien herkommen und wenn
> die Dateigröße, der Name und das Datum identisch sind, dann kann ich
> vielleicht noch stichprobenmäß9g (hatte ich schon damals gemacht) auf
> Bitfehler prüfen. Letztlich geht es nur darum, ob damals was von rsync
> ausgelasssen wurde.
> 
> Sprich, wenn fdupes das md5-Hashing auslassen könnte, wäre es perfekt, aber
> ich bezweifle es, deshalb hatte ich gefragt.
> Aber ich probiere es mal aus.

Hallo,

das md5-hashing wird ja nicht in jedem Fall komplett durchgeführt.

Das md5-hashing wird Blockweise nur durchgeführt mit Dateigruppen 
indentischer Grösse und sobald da Unterschiede gefunden werden geht das 
weiter zu den nächsten Dateien.

fdupes -r -S /Verzeichnis1 /Verzeichnis2 > DateiListe_mit_den_Duplikaten

Ungeduldiges Dabeisitzen ist ja nicht notwendig.

Auf SSDs und mit flotten CPUs geht das natürlich schneller als mit HDs usw..


Bernd Mayer

[toc] | [prev] | [next] | [standalone]

#630794 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

On 01/12/2024 16:39, Christian Dürrhauer wrote:
> Hallo,
> 
> ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
> aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
> gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
> gewachsenen Ordner auf NAS2 vergleichen.
> 
> Meiner Ansicht nach sollte - da Prüfsummen zu erstellen bei der Art Dateien
> und der Masse ein teurer Vorgang sind - der reine Vergleich von Dateigröße,
> vielleicht auch noch Datum, als Output reichen. Ich brauche keine Automatik,
> die mir was löscht, eine Liste reicht.
> 
> Muss ich das per Hand machen
> (Pseudo-Bash-Code
> find ./ --exec ls -l {} \; >> found_files_source.txt
> find ./ --exec ls -l {} \; >> found_files_dest.txt
> sdiff -ls found_files_source.txt found_files_dest.txt)
> oder gibt es einen gangbaren Weg per Tool (debian/Ubuntu, könnte auch Mac
> verwenden)?
> 

Wenn Du es nur einmal brauchst und nur Dateivergleiche, würde ich 
md5(sum) $FILE >> $OUTFILE verwenden. Ein wenig Wrapper außen rum und 
gut ist. Ein einfaches DIFF zeigt dann Unterschiede.

Kann alles mit onboard Mitteln gemacht werden (ob es die beste Lösung 
ist, sei dahin gestellt).

-- 

Cheers,
    G.

Quis custodiet ipsos custodes?
---------------------------->8------------------------------
   /"\
   \ /  ASCII Ribbon Campaign
    X   against HTML e-mail
   / \
---------------------------->8------------------------------

[toc] | [prev] | [next] | [standalone]

#630797 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

On Dec 1, 2024 at 6:50:22 PM GMT+1, "Goetz Schultz"
<ng.expire1225@goetz.co.uk> wrote:

> On 01/12/2024 16:39, Christian Dürrhauer wrote:
>> Hallo,
>>
>> ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
>> aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
>> gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
>> gewachsenen Ordner auf NAS2 vergleichen.
>>
>> Meiner Ansicht nach sollte - da Prüfsummen zu erstellen bei der Art Dateien
>> und der Masse ein teurer Vorgang sind - der reine Vergleich von Dateigröße,
>> vielleicht auch noch Datum, als Output reichen. Ich brauche keine Automatik,
>> die mir was löscht, eine Liste reicht.
>>
>> Muss ich das per Hand machen
>> (Pseudo-Bash-Code
>> find ./ --exec ls -l {} \; >> found_files_source.txt
>> find ./ --exec ls -l {} \; >> found_files_dest.txt
>> sdiff -ls found_files_source.txt found_files_dest.txt)
>> oder gibt es einen gangbaren Weg per Tool (debian/Ubuntu, könnte auch Mac
>> verwenden)?
>>
>
> Wenn Du es nur einmal brauchst und nur Dateivergleiche, würde ich
> md5(sum) $FILE >> $OUTFILE verwenden. Ein wenig Wrapper außen rum und
> gut ist. Ein einfaches DIFF zeigt dann Unterschiede.
>
> Kann alles mit onboard Mitteln gemacht werden (ob es die beste Lösung
> ist, sei dahin gestellt).

danke auch Dir, aber mir ging es ausdrücklich um die Vermeidung von
md5-Hashing.

-- 
mit freundlichen Grüßen/with kind regards,

Christian Dürrhauer

[toc] | [prev] | [next] | [standalone]

#630801 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

On 01/12/2024 18:14, Christian Dürrhauer wrote:
> On Dec 1, 2024 at 6:50:22 PM GMT+1, "Goetz Schultz"
> <ng.expire1225@goetz.co.uk> wrote:
> 
>> On 01/12/2024 16:39, Christian Dürrhauer wrote:
>>> Hallo,
>>>
>>> ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
>>> aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
>>> gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
>>> gewachsenen Ordner auf NAS2 vergleichen.
>>>
>>> Meiner Ansicht nach sollte - da Prüfsummen zu erstellen bei der Art Dateien
>>> und der Masse ein teurer Vorgang sind - der reine Vergleich von Dateigröße,
>>> vielleicht auch noch Datum, als Output reichen. Ich brauche keine Automatik,
>>> die mir was löscht, eine Liste reicht.
>>>
>>> Muss ich das per Hand machen
>>> (Pseudo-Bash-Code
>>> find ./ --exec ls -l {} \; >> found_files_source.txt
>>> find ./ --exec ls -l {} \; >> found_files_dest.txt
>>> sdiff -ls found_files_source.txt found_files_dest.txt)
>>> oder gibt es einen gangbaren Weg per Tool (debian/Ubuntu, könnte auch Mac
>>> verwenden)?
>>>
>>
>> Wenn Du es nur einmal brauchst und nur Dateivergleiche, würde ich
>> md5(sum) $FILE >> $OUTFILE verwenden. Ein wenig Wrapper außen rum und
>> gut ist. Ein einfaches DIFF zeigt dann Unterschiede.
>>
>> Kann alles mit onboard Mitteln gemacht werden (ob es die beste Lösung
>> ist, sei dahin gestellt).
> 
> danke auch Dir, aber mir ging es ausdrücklich um die Vermeidung von
> md5-Hashing.
> 

Ok, hatte ich nicht aufgefasst. Wenn Dir dann nur die Metadaten 
(Größe/Name) reichen,

ls -l | awk ' { for (i=9; i<=NF; i++)   print $5" "$i }' >> OUT1 bzw. OUT2

Dann einfach nur ein DIFF. Sollte auch bei vielen Dateien recht zügig 
gehen.

-- 

Cheers,
    G.

Quis custodiet ipsos custodes?
---------------------------->8------------------------------
   /"\
   \ /  ASCII Ribbon Campaign
    X   against HTML e-mail
   / \
---------------------------->8------------------------------

[toc] | [prev] | [next] | [standalone]

#630802 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

Am 01.12.24 um 22:06 schrieb Goetz Schultz:
> On 01/12/2024 18:14, Christian Dürrhauer wrote:
>> On Dec 1, 2024 at 6:50:22 PM GMT+1, "Goetz Schultz"
>> <ng.expire1225@goetz.co.uk> wrote:
>>
>>> On 01/12/2024 16:39, Christian Dürrhauer wrote:
>>>
>>> Kann alles mit onboard Mitteln gemacht werden (ob es die beste Lösung
>>> ist, sei dahin gestellt).
>>
>> danke auch Dir, aber mir ging es ausdrücklich um die Vermeidung von
>> md5-Hashing.
>>
> 
> Ok, hatte ich nicht aufgefasst. Wenn Dir dann nur die Metadaten (Größe/ 
> Name) reichen,
> 
> ls -l | awk ' { for (i=9; i<=NF; i++)   print $5" "$i }' >> OUT1 bzw. OUT2
> 
> Dann einfach nur ein DIFF. Sollte auch bei vielen Dateien recht zügig 
> gehen.
> 
Hallo,

oder alternativ mit MediaInfo für die Metadateien.

https://mediaarea.net/en/MediaInfo/Download


Bernd Mayer

[toc] | [prev] | [next] | [standalone]

#631034 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

Am 01.12.2024 um 18:50 schrieb Goetz Schultz:

> Wenn Du es nur einmal brauchst und nur Dateivergleiche, würde ich 
> md5(sum) $FILE >> $OUTFILE verwenden. Ein wenig Wrapper außen rum
> und gut ist. Ein einfaches DIFF zeigt dann Unterschiede.

Gibt's nichts für SHA-256 ?

[toc] | [prev] | [next] | [standalone]

#631043 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

On 12/6/24 13:21, Bonita Montero wrote:
> Am 01.12.2024 um 18:50 schrieb Goetz Schultz:
> 
>> Wenn Du es nur einmal brauchst und nur Dateivergleiche, würde ich 
>> md5(sum) $FILE >> $OUTFILE verwenden. Ein wenig Wrapper außen rum
>> und gut ist. Ein einfaches DIFF zeigt dann Unterschiede.
> 
> Gibt's nichts für SHA-256 ?

Du kannst auch 'sha256sum' nehmen wenn du willst. Zum finden von 
Duplikaten sollte aber 'md5sum' vollkommen ausreichen.

  Gerrit

[toc] | [prev] | [next] | [standalone]

#630810 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

Am 01.12.24 um 17:39 schrieb Christian Dürrhauer:

> ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
> aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
> gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
> gewachsenen Ordner auf NAS2 vergleichen.

> Meiner Ansicht nach sollte - da Prüfsummen zu erstellen bei der Art Dateien
> und der Masse ein teurer Vorgang sind - der reine Vergleich von Dateigröße,
> vielleicht auch noch Datum, als Output reichen. Ich brauche keine Automatik,
> die mir was löscht, eine Liste reicht.
> 
> Muss ich das per Hand machen
> (Pseudo-Bash-Code
> find ./ --exec ls -l {} \; >> found_files_source.txt
> find ./ --exec ls -l {} \; >> found_files_dest.txt
> sdiff -ls found_files_source.txt found_files_dest.txt)
> oder gibt es einen gangbaren Weg per Tool (debian/Ubuntu, könnte auch Mac
> verwenden)?

Ich würde ls -lR /NAS1 > /tmp/nas1.txt
Ich würde ls -lR /NAS2 > /tmp/nas2.txt
machen,

dann mit einem Programm in Python3 aus den beiden Dateien
Verzeichnis-Datei Bäume erstellen und vergleichen.

Ergebnis wären Dateien /tmp/nur.nas1.txt, /tmp/nur.nas2.txt.
und /tmp/weiteres.txt für andere Fälle wie umbenannte Verzeichnisse.

Bei gleicher Dateizuordnung wäre noch
open(name1,"rb").read()==open(name2,"rb").read()
von Interesse, um Dateifehler zu finden.

Prüfsumme wird interessant, wenn ich gleiche Inhalte
unter anderen Namen suche.

-- 
<http://www.hermann-riemann.de>

[toc] | [prev] | [next] | [standalone]

#630813 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

Am 01.12.2024 um 17:39 schrieb Christian Dürrhauer:

Ich will ja nicht unken aber ich lasse das die KI machen. Beide
Verzeichnisinhalte in je eine Datei und an ChatGPT hochladen. Dann
einfach fragen, welche Dateien nicht in beiden Dateien vorhanden sind
und die als CSV herunterladbar machen.

Klappte bisher ganz gut.

FW

[toc] | [prev] | [next] | [standalone]

#630823 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

On 12/2/24 14:22, F. W. wrote:
> Am 01.12.2024 um 17:39 schrieb Christian Dürrhauer:
> 
> Ich will ja nicht unken aber ich lasse das die KI machen. Beide
> Verzeichnisinhalte in je eine Datei und an ChatGPT hochladen. Dann
> einfach fragen, welche Dateien nicht in beiden Dateien vorhanden sind
> und die als CSV herunterladbar machen.
> 
> Klappte bisher ganz gut.

Hältst du es für eine gute Idee eine Liste der bei dir existierenden 
Dateien aus der Hand zu geben?

  Gerrit

[toc] | [prev] | [next] | [standalone]

#630832 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

Am 02.12.2024 um 18:59 schrieb Gerrit Heitsch:
> On 12/2/24 14:22, F. W. wrote:
>> Am 01.12.2024 um 17:39 schrieb Christian Dürrhauer:
>> 
>> Ich will ja nicht unken aber ich lasse das die KI machen. Beide 
>> Verzeichnisinhalte in je eine Datei und an ChatGPT hochladen. Dann 
>> einfach fragen, welche Dateien nicht in beiden Dateien vorhanden
>> sind und die als CSV herunterladbar machen.
>> 
>> Klappte bisher ganz gut.
> 
> Hältst du es für eine gute Idee eine Liste der bei dir
> existierenden Dateien aus der Hand zu geben?
> 
> Gerrit
> 
> 

In meinem Fall waren es MP3-Dateien. Hätte ich vielleicht dazu schreiben
sollen.

FW

[toc] | [prev] | [next] | [standalone]

#630822 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

On 12/1/24 17:39, Christian Dürrhauer wrote:
> Hallo,
> 
> ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
> aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
> gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
> gewachsenen Ordner auf NAS2 vergleichen.
> 
> Meiner Ansicht nach sollte - da Prüfsummen zu erstellen bei der Art Dateien
> und der Masse ein teurer Vorgang sind - der reine Vergleich von Dateigröße,
> vielleicht auch noch Datum, als Output reichen. Ich brauche keine Automatik,
> die mir was löscht, eine Liste reicht.

Lass doch einfach rsync mit der Zusatzoption '-n' nochmal laufen. Ohne 
'-c' schaut sich das nur Datum und Dateigröße und mit '-n' tut es nichts 
sondern meldet nur welche Dateien es gefunden bei denen es Probleme gab.

  Gerrit

[toc] | [prev] | [next] | [standalone]

#630827 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

On Dec 2, 2024 at 6:57:43 PM GMT+1, "Gerrit Heitsch"
<gerrit@laosinh.s.bawue.de> wrote:

> On 12/1/24 17:39, Christian Dürrhauer wrote:
>> Hallo,
>>
>> ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
>> aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
>> gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
>> gewachsenen Ordner auf NAS2 vergleichen.
>>
>> Meiner Ansicht nach sollte - da Prüfsummen zu erstellen bei der Art Dateien
>> und der Masse ein teurer Vorgang sind - der reine Vergleich von Dateigröße,
>> vielleicht auch noch Datum, als Output reichen. Ich brauche keine Automatik,
>> die mir was löscht, eine Liste reicht.
>
> Lass doch einfach rsync mit der Zusatzoption '-n' nochmal laufen. Ohne
> '-c' schaut sich das nur Datum und Dateigröße und mit '-n' tut es nichts
> sondern meldet nur welche Dateien es gefunden bei denen es Probleme gab.
>
das habe ich jetzt mal gemacht mit
rsync -nahP <user@host>:<Pfad Quelle> <Pfad Ziel> > result.txt

Ich finde diverse Verzeichnisse, darin immer ein ./.@__thumb/ und insgesamt
drei Dateien, wo ich mir tatsächlich Änderungen erklären kann.

Das sieht doch sehr gut aus.

Und als Erklärung, warum ich das bisher nicht in Erwägung gezogen habe - habe
rsync ja nicht getraut, wenn ich es überprüfen möchte, dann sollte ich diese
Überprüfung nicht dem Tool überlassen, dessen Ergebnis ich anzweifle...
Und als ich TidyUp verwendet habe, um mal andersrum eine Überprüfung zu
erhalten, alles per SMB auf dem Mac gemountet - da werden mir Dateien nicht
angezeigt, die in der Shell da sind (und das schlägt bis auf TidyUp durch).
SMB verwendet vfs fruit, aber was z.B. an %Bambi_2_--_Der_Herr_der_Wälder.ts"
problematisch ist, entzieht sich meiner Kenntnis. Habe auch mal ein mv
<Dateiname> <Dateiname_neu_eingegeben> gemacht, ohne Änderung. Wenn ich dafür
noch smbd auf dem NAS hätte neustarten müssen sind wir von der üblichen
Windows-Kritik nicht mehr weit entfernt.

-- 
mit freundlichen Grüßen/with kind regards,

Christian Dürrhauer

[toc] | [prev] | [next] | [standalone]

#630828 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

On Dec 2, 2024 at 8:21:54 PM GMT+1, "Christian Dürrhauer"
<cdurrhau@zedat.fu-berlin.de> wrote:

> SMB verwendet vfs fruit, aber was z.B. an %Bambi_2_--_Der_Herr_der_Wälder.ts"
> problematisch ist, entzieht sich meiner Kenntnis. Habe auch mal ein mv
> <Dateiname> <Dateiname_neu_eingegeben> gemacht, ohne Änderung. Wenn ich dafür
> noch smbd auf dem NAS hätte neustarten müssen sind wir von der üblichen
> Windows-Kritik nicht mehr weit entfernt.

das habe ich mal gemacht, auch ohne Änderung. Bleibt noch der Mac (15.1.1).
Würde auch nicht wundern.

Auf jeden Fall ist die Zeit von QTS5.1 wohl beendet bei mir. Truenas Scale
läuft auf der Qnap-Hardware vermutlich auch sogar besser, ohne dass mdraid 2
Wochen lang Festplatten initialisieren muss. *daumendrück*

-- 
mit freundlichen Grüßen/with kind regards,

Christian Dürrhauer

[toc] | [prev] | [next] | [standalone]

#630829 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

On 12/2/24 20:21, Christian Dürrhauer wrote:
> On Dec 2, 2024 at 6:57:43 PM GMT+1, "Gerrit Heitsch"
> <gerrit@laosinh.s.bawue.de> wrote:
> 
>> On 12/1/24 17:39, Christian Dürrhauer wrote:
>>> Hallo,
>>>
>>> ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
>>> aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
>>> gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
>>> gewachsenen Ordner auf NAS2 vergleichen.
>>>
>>> Meiner Ansicht nach sollte - da Prüfsummen zu erstellen bei der Art Dateien
>>> und der Masse ein teurer Vorgang sind - der reine Vergleich von Dateigröße,
>>> vielleicht auch noch Datum, als Output reichen. Ich brauche keine Automatik,
>>> die mir was löscht, eine Liste reicht.
>>
>> Lass doch einfach rsync mit der Zusatzoption '-n' nochmal laufen. Ohne
>> '-c' schaut sich das nur Datum und Dateigröße und mit '-n' tut es nichts
>> sondern meldet nur welche Dateien es gefunden bei denen es Probleme gab.
>>
> das habe ich jetzt mal gemacht mit
> rsync -nahP <user@host>:<Pfad Quelle> <Pfad Ziel> > result.txt
> 
> Ich finde diverse Verzeichnisse, darin immer ein ./.@__thumb/ und insgesamt
> drei Dateien, wo ich mir tatsächlich Änderungen erklären kann.
> 
> Das sieht doch sehr gut aus.
> 
> Und als Erklärung, warum ich das bisher nicht in Erwägung gezogen habe - habe
> rsync ja nicht getraut, wenn ich es überprüfen möchte, dann sollte ich diese
> Überprüfung nicht dem Tool überlassen, dessen Ergebnis ich anzweifle...

Bisher hat rsync hier noch nicht danebengegriffen sondern war immer 
zuverlässig. Ich mache allerdings auch hin und wieder einen Compare mit

  diff -r <pfad1> <pfad2>

das dauert nur ziemlich lange weil es eben ein binary compare ist.

  Gerrit

[toc] | [prev] | [next] | [standalone]

#630886 — Re: Duplikatefinder Linux - nur Dateigroesse (Schnelligkeit)

Hallo,

Am 01.12.24 um 17:39 schrieb Christian Dürrhauer:
> Hallo,
> 
> ich habe dereinst vom NAS1 auf ein neues NAS2 sämtliche Videos ge-rsynct. Dann
> aber nie verfolgt, ob da wirklich alles drübergekommen ist. Jetzt würde ich
> gerne NAS1 leermachen, das heißt, die Ursprungsversion gegen den mittlerweile
> gewachsenen Ordner auf NAS2 vergleichen.


*Doppelte Dateien finden mit Dupfinder*
"Dupfinder erkennt doppelte Dateien anhand der exakten Größe. Mit den 
oben genannten Optionen klammern Sie also die Dateien, die eine gewisse 
Größe über- oder unterschreiten, von der Suche aus. Im Feld darunter 
legen Sie fest, dass das Tool nur Dateien überprüft, die eine bestimmte 
Zeichenkette im Dateinamen tragen. Haben Sie alle Einstellungen 
getroffen, klicken Sie rechts auf Add. Auf diese Weise fügen Sie der 
Liste der zu durchsuchenden Verzeichnisse alle gewünschten Ordner hinzu. 
Abschließend klicken Sie auf Go! und starten so die Suche.

Dupfinder zeigt Ihnen im Anschluss eine Liste der Suchresultate an. Die 
angezeigten Dateien gehen Sie durch und entscheiden, welche der Dateien 
Sie löschen möchten. Das Löschen erledigen Sie entweder wie gewohnt über 
den Dateimanager oder direkt, indem Sie im Dupfinder mit der rechten 
Maustaste auf den entsprechenden Eintrag klicken und aus dem Kontextmenü 
den Eintrag Delete auswählen..."

<https://www.linux-community.de/ausgaben/linuxuser/2008/07/doppelte-dateien-finden-mit-dupfinder/>

Ciao
Walter

[toc] | [prev] | [standalone]

Back to top | Article view | ger.ct

csiph-web