Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]
| From | Bonita Montero <Bonita.Montero@gmail.com> |
|---|---|
| Newsgroups | ger.ct, de.comp.os.unix.linux.misc |
| Subject | Re: A thousand files ... |
| Date | 2021-12-27 18:32 +0100 |
| Organization | A noiseless patient Spider |
| Message-ID | <sqctb2$vg4$1@dont-email.me> (permalink) |
| References | (1 earlier) <sq5bn0$85n$1@solani.org> <sq5u75$mmd$1@dont-email.me> <sqalrt$n7i$1@solani.org> <sqc194$b1t$1@dont-email.me> <sqc42k$q3r$1@dont-email.me> |
Cross-posted to 2 groups.
Am 27.12.2021 um 11:21 schrieb Bonita Montero: > Am 27.12.2021 um 10:33 schrieb Bonita Montero: > >>> Wenn zwischendurch der Strom weg ist, sind dann alle >>> Dateien, deren fclose returned hat noch da. >> >> Das ist einwandfrei falsch, s.O. > > So, ich habs gerade mal übeprüft. Und zwar hab ich in mein Progrämmchen > eine Funktion eingebaut die FlushFileBuffers() bzw. fsync() nach dem > Schreiben in die Datei und vor dem Schließen macht. > Ich hab das Ganze gerade mal unter Linux mit dem Ryzen 7 1800X / 16GB > Rechner ausprobiert, und da dauert das Schreiben von 100.000 Dateien > aus 100 Threads in ein Verzeichnis ohne Flushing 2,218s, mit Flushing > vor jedem close() 19,850s. Unter Windows dauert das ohne Flushing > 48,184s, mit Flushing 83,795s. Würde beim Schließen einer Datei > automatisch geflusht, dann gäb's ja keine Unterscheide. Übrigens noch ein interessantes Phänomen: Wenn ich unter Linux die Anzahl der Threads in der flushenden Variante verzehnfache und die Anzahl der Files pro Thread dafür auf ein Zehntel reduziere, dann sinkt die Verarbeitungszeit von besagten 19,*s auf ca. 10s. Will heißen, dass weil es mehr Theads gibt die parallel auf die Vollen- dung des Flushens warten der Durchsatz eben entsprechend steigt. Wenn ich das gleiche unter Windows mache, dann _steigt_ die Ver- arbeitungs-Zeit um 9s, d.h. Windows serialisiert wohl die Opera- tionen unter den Threads, was alles andere als optimal ist. In dem Fall ergibt sich also ein Effizienz-Verhältnis von 9 : 1 für Linux.
Back to ger.ct | Previous | Next — Previous in thread | Next in thread | Find similar | Unroll thread
A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-24 20:08 +0100
Re: A thousand files ... Hendrik van der Heijden <hvdh@gmx.de> - 2021-12-24 21:48 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-25 03:04 +0100
Re: A thousand files ... Andreas Kohlbach <ank@spamfence.net> - 2021-12-25 05:16 -0500
Re: A thousand files ... Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2021-12-25 11:23 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-25 11:51 +0100
Re: A thousand files ... Andreas Kohlbach <ank@spamfence.net> - 2021-12-25 12:01 -0500
Re: A thousand files ... Hendrik van der Heijden <hvdh@gmx.de> - 2021-12-26 22:12 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-27 10:33 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-27 11:21 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-27 18:32 +0100
Re: A thousand files ... Dietz Proepper <dietz-usenet@rotfl.franken.de> - 2021-12-28 11:33 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-28 11:47 +0100
Re: A thousand files ... Dietz Proepper <dietz-usenet@rotfl.franken.de> - 2021-12-29 00:12 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-29 06:20 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-29 06:29 +0100
Re: A thousand files ... Dietz Proepper <dietz-usenet@rotfl.franken.de> - 2021-12-29 10:49 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-29 11:58 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-29 11:59 +0100
Re: A thousand files ... Dietz Proepper <dietz-usenet@rotfl.franken.de> - 2021-12-29 12:01 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-29 12:23 +0100
Re: A thousand files ... "Dr. Joachim Neudert" <neudert@5sl.org> - 2021-12-29 12:44 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-29 14:30 +0100
Re: A thousand files ... spamfalle2@arcor.de (Marc Stibane) - 2021-12-25 19:46 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-25 20:25 +0100
Re: A thousand files ... spamfalle2@arcor.de (Marc Stibane) - 2021-12-25 22:32 +0100
Re: A thousand files ... Bonita Montero <Bonita.Montero@gmail.com> - 2021-12-31 12:27 +0100
csiph-web